Gradient Boosted Decision Tree Neural Network
Netflix（奈飞）
在本文中，我们提出了一种方法来建立一个神经网络，类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后，我们放松这个网络的一些属性，如阈值和激活函数，训练一个近似等价的决策树集成。最后一个模型Hammock非常简单：一个完全连接的两层神经网络，其中输入被量化和独热编码。在大数据集和小数据集上的实验表明，这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Decision Tree Design for Classification in Crowdsourcing Systems
Syracuse University（雪城大学）
在本文中，我们提出了一种新的顺序范式分类在众包系统。考虑到工人是不可靠的，他们执行的测试与错误，我们研究了决策树的建设，以尽量减少错误分类的概率。利用决策树各级熵与误分类概率之间的关系，提出了两种决策树设计算法。此外，工人分配问题进行了研究时，工人可以被分配到不同的测试的决策树，以提供分类成本和所产生的错误性能之间的权衡。数值结果是为了说明。
2018-05-01 cs.LG stat.ML
Tree in Tree: from Decision Trees to Decision Graphs
EPFL（洛桑联邦理工学院）；Cornell University（康奈尔大学）
决策树由于其轻量级和可解释的决策过程而被广泛用作许多机器学习应用中的分类器。本文介绍了树中树决策图（TnT），一个框架，扩展了传统的决策树更一般和强大的有向无环图。TnT通过在内部或叶节点内递归地生长决策树来构建决策图，而不是贪婪训练。TnT的时间复杂度与图中的节点数呈线性关系，可以在大数据集上构造决策图。与决策树相比，我们表明，TnT实现了更好的分类性能，减少了模型大小，无论是作为一个独立的分类器，并作为一个基本的估计装袋/AdaBoost集成。我们提出的模型是一种新的，更有效的，和准确的替代广泛使用的决策树。
2021-10-29 cs.LG
A Bayesian Decision Tree Algorithm
UBS（瑞银集团（UBS））
贝叶斯决策树以其概率可解释性而闻名。然而，它们的建造有时可能是昂贵的。在这篇文章中，我们提出了一个通用的贝叶斯决策树算法适用于回归和分类问题。该算法不应用马尔可夫链蒙特卡罗，不需要修剪步骤。虽然可以构造一个加权概率树空间，但我们发现一个特定的树，贪婪模态树（GMT），解释了数值示例中包含的大部分信息。这种方法似乎与随机森林类似。
2020-09-22 cs.LG stat.ML
Oblique Decision Trees from Derivatives of ReLU Networks
我们展示了如何神经模型可以用来实现分段常数函数，如决策树。所提出的架构，我们称之为局部常数网络，建立在分段线性的ReLU网络上，因此它们相对于输入的相关梯度是局部常数。我们正式建立了局部常数网络类和决策树类之间的等价关系。此外，我们强调了局部常数网络的几个有利特性，包括它们如何实现跨分支/叶子共享参数的决策树。实际上，只有$M$神经元才足以隐式地对具有$2^M$叶节点的倾斜决策树进行建模。神经表示还使我们能够采用为深度网络开发的许多工具（例如，DropConnect（Wan等人，2013）），同时隐式地训练决策树。我们证明，我们的方法优于替代技术训练斜决策树的分子属性分类和回归任务的背景下。
2020-05-03 cs.LG stat.ML
Improving Stability in Decision Tree Models
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
本文针对决策树模型的不稳定性问题，提出新的距离度量与稳定训练方法，在医疗保健案例中实现以4.6%的预测能力下降换取38%的稳定性提升。
2023-05-26 cs.AI cs.LG math.OC
Dive into Decision Trees and Forests: A Theoretical Demonstration
基于决策树，近年来许多领域都取得了巨大的进展。简单地说，决策树使用“分而治之”的策略将输入特征与标签之间的依赖关系这一复杂问题分解为较小的问题。虽然决策树有很长的历史，但最近的进展大大提高了它们在计算广告、推荐系统、信息检索等方面的性能。贝叶斯CART，贝叶斯回归样条）和训练技术（例如，混合整数规划、交替优化、梯度下降）。一路上，我们强调基于树的模型的概率特性，并解释其实际和理论上的好处。除了机器学习和数据采掘之外，本文还试图从统计学和运筹学等其他领域展示树型模型的理论进展。我们在每个方法的末尾列出了可重复的资源。
2021-01-20 cs.LG stat.ML
Distributed Decision Trees
Cornell University（康奈尔大学）；Boğaziçi University（海峡大学）
最近提出的萌芽树是一种决策树算法，其中每个节点是部分内部节点和部分叶子。这允许在连续参数空间中表示每个决策树，因此萌芽树可以与反向传播联合训练，就像神经网络一样。尽管这种连续性允许它用于分层表示学习，但学习的表示是局部的：激活在树中的所有根到叶路径中进行软选择。在这项工作中，我们扩展了萌芽树，并提出了分布式树的孩子使用不同的和独立的分裂，因此在一棵树中的多条路径可以在同一时间遍历。这种组合多个路径的能力提供了分布式表示的能力，就像传统的感知器层一样。我们发现，分布式树的分类和回归任务的表现比萌芽和传统的硬树。
2014-12-19 cs.LG stat.ML
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California（南加州大学）
为了更深入地了解卷积神经网络（CNN）如何对人类可理解的概念进行推理，我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息，以及提供对概念如何彼此交互的理解。实验表明，所提取的决策树能够准确地表示原始CNN的分类在低树深度，从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
Improved Information Gain Estimates for Decision Tree Induction
Microsoft Research Cambridge（微软研究院剑桥分部）
分类树和回归树的集合仍然是流行的机器学习方法，因为它们定义了灵活的非参数模型，这些模型在训练和测试期间预测良好，并且计算效率高。在决策树的归纳过程中，我们的目标是找到关于预测目标的最大信息的谓词。为了选择好的谓词，大多数方法估计信息理论的评分函数，信息增益，分类和回归问题。我们指出，共同的估计程序是有偏见的，并表明，通过取代它们与改进的离散和微分熵的估计，我们可以得到更好的决策树。实际上，我们的修改产生了改进的预测性能，并且易于在任何决策树代码中实现。
2012-06-18 cs.LG stat.ML
Automatic Induction of Neural Network Decision Tree Algorithms
Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）
本文提出了一种基于神经网络结构的非贪婪决策树的自动归纳方法。这种构造可以用于在增长或修剪决策树时转移权重，允许非贪婪决策树算法自动学习和适应理想架构。在这项工作中，我们研究了集成建模和贝叶斯模型平均的基础思想，使我们的神经网络通过权重转移渐近接近理想的体系结构。实验结果表明，该方法提高了决策树模型和决策森林模型在固定的超参数集的模型。
2019-04-25 cs.LG stat.ML
Trinary Decision Trees for handling missing data
Stockholm University（斯德哥尔摩大学）
本文提出三元决策树，不假设缺失值含响应信息，在完全随机缺失场景下优于现有算法，并与MIA方法结合形成TrinaryMIA树以提升各类缺失场景下的稳健性和准确性。
2024-01-11 cs.LG stat.ML
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Toronto（多伦多大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
决策树因其易用性和可解释性而在机器学习中无处不在。然而，这些模型通常不用于强化学习，因为它们不能通过随机梯度下降在线更新。我们克服了这一限制，允许在整个树，提高样本的复杂性，提供可解释的政策提取梯度更新。首先，我们包括政策梯度学习的需要，通过检查梯度下降的性质可微决策树的理论动机。其次，我们证明了我们的方法在所有领域都等同于或优于神经网络，并且可以在线学习离散的决策树，其平均奖励比批量训练的决策树高出7倍。第三，我们进行了一项用户研究，以量化决策树，规则列表和神经网络的可解释性与统计上显着的结果（$p < 0.001$）。
2020-06-25 cs.LG stat.ML
Generalized and Scalable Optimal Sparse Decision Trees
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）
从计算的角度来看，决策树优化是非常困难的，但对于可解释的机器学习领域来说是必不可少的。尽管在过去的40年里一直在努力，但直到最近才取得了优化突破，使实用算法能够找到最佳决策树。这些新技术有可能引发范式转变，其中可以构建稀疏决策树来有效地优化各种目标函数，而不依赖于贪婪分裂和修剪算法，这些算法通常会导致次优解。在这项工作中的贡献是提供一个通用的框架决策树优化，解决了两个重要的开放问题，在该地区：不平衡数据的处理和充分优化连续变量。我们提出的技术，产生最佳的决策树在各种目标，包括F-分数，AUC，和部分区域下的ROC凸包。我们还介绍了一个可扩展的算法，产生可证明的最佳结果，在连续变量的存在下，并加快了决策树建设的几个数量级相对于最先进的。
2022-11-22 cs.LG stat.ML
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法，如流行的Hoeffding树算法。从统计学的角度来看，在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清，一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白，推导出准确的置信区间估计分裂增益决策树学习的三个标准：熵，基尼指数，和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置，其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率，分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明，我们的树确实比其他技术生成的具有相同数量叶子的树更准确，并且我们的主动学习模块允许节省标记成本。此外，比较我们的标签策略与最近的方法，我们表明，我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
Towards Interpretable ANNs: An Exact Transformation to Multi-Class Multivariate Decision Trees
University of New South Wales（新南威尔士大学）
一方面，人工神经网络（ANN）通常被标记为黑箱，缺乏可解释性;这一问题阻碍了人类对ANN行为的理解。需要产生一个有意义的顺序逻辑的人工神经网络解释一个特定的输出的生产过程。另一方面，决策树由于其表示语言和将树转换为规则的有效算法的存在而表现出更好的可解释性和表达能力。然而，基于可用数据生长决策树可能会产生比必要的树更大的树或不能很好地泛化的树。在本文中，我们介绍了两个新的多变量决策树（MDT）算法的规则提取的人工神经网络：一个精确转换决策树（EC-DT）和扩展的C-网算法。这两种方法都是将具有整流线性单元激活函数的神经网络转化为一棵代表树，进而提取多元规则进行推理。虽然EC-DT以逐层的方式转换ANN以精确地表示由网络的隐藏层隐式地学习的决策边界，但扩展的C-Net将EC-DT的分解方法与C5树学习算法相结合以形成决策规则。结果表明，虽然EC-DT是优越的，在保持结构和保真度的人工神经网络，扩展C-网络生成最紧凑和高效的树从人工神经网络。这两个建议MDT算法生成的规则，包括多个属性的组合，用于精确的解释决策。
2021-11-17 cs.LG stat.ML
Prediction Algorithms Achieving Bayesian Decision Theoretical Optimality Based on Decision Trees as Data Observation Processes
Waseda University（早稻田大学）；Gunma University（群马大学）
针对决策树预测难保证统计最优、易过拟合且贝叶斯最优预测计算不可行的问题，研究将决策树作为数据观测过程，用步长自适应的马尔可夫链蒙特卡洛方法求解划分轴组合求和，实现贝叶斯决策理论最优预测。
2023-06-12 cs.LG stat.ML
An Experimental Comparison of Old and New Decision Tree Algorithms
University of California, Merced（加利福尼亚大学默塞德分校）
本文提出了一个详细的比较，最近提出的算法优化决策树，树交替优化（TAO），与其他流行的，建立算法。我们比较了它们在不同复杂度、不同大小和维度的分类和回归数据集上的性能，这些数据集涉及不同的性能因素：准确性和树的大小（根据叶子的数量或树的深度）。我们发现，TAO在几乎所有的数据集上都达到了更高的准确性，而且往往是大幅度的。
2020-03-20 cs.LG stat.ML
Deep Neural Decision Trees
The University of Edinburgh（爱丁堡大学）
深度神经网络已被证明在处理图像和音频等感知数据方面非常强大。然而，对于表格数据，基于树的模型更受欢迎。基于树的模型的一个很好的特性是它们的自然可解释性。在这项工作中，我们提出了深度神经决策树（DNDT）-由神经网络实现的树模型。DNDT本质上是可解释的，因为它是一棵树。然而，由于它也是一个神经网络（NN），它可以很容易地在NN工具包中实现，并使用梯度下降而不是贪婪分裂进行训练。我们在几个表格数据集上评估了DNDT，验证了它的有效性，并研究了DNDT和香草决策树之间的异同。有趣的是，DNDT在分割和特征级别都进行了自修剪。
2018-06-19 cs.LG stat.ML
A Novel Hyperparameter-free Approach to Decision Tree Construction that Avoids Overfitting by Design
IMDEA Networks Institute（IMDEA网络研究所）
决策树是一种非常流行的机器学习技术。不幸的是，过拟合在决策树仍然是一个开放的问题，有时会阻止实现良好的性能。在这项工作中，我们提出了一种新的方法来构建决策树，避免过度拟合的设计，而不会失去准确性。我们的算法的一个显着特点是，它既不需要优化任何超参数，也不使用正则化技术，从而显着减少了决策树的训练时间。此外，我们的算法产生更小，更浅的树比传统算法，促进所产生的模型的可解释性。
2019-06-04 cs.AI cs.LG stat.ML
Learning Optimal Decision Trees from Large Datasets
Computer Research Institute of Montreal（蒙特利尔计算机研究所）
从给定的数据集推断决策树是机器学习中的经典问题之一。这个问题包括建筑物，从一个标记的数据集，一棵树，使得每个节点对应于一个类和路径之间的树根和叶子对应于一个连接的功能，以满足在这个类。遵循简约原则，我们希望推断出与数据集一致的最小树。不幸的是，推断一个最佳的决策树是已知的NP完全的几个定义的最优性。因此，大多数现有的方法依赖于推理，而对于少数精确推理方法，它们不适用于大数据集。本文提出了一种基于布尔公式增量生成的最小深度决策树推断方法。实验结果表明，它的规模足够好，运行时间随着数据集的大小缓慢增长。
2019-04-12 cs.LG stat.ML
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania（宾夕法尼亚大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）；University of Maryland Medical Center（马里兰大学医学中心）
加法模型，例如由梯度提升产生的，以及全交互模型，例如分类和回归树（CART），是广泛使用的算法，这些算法在很大程度上被孤立地研究。我们表明，这些模型存在于一个频谱，揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术，称为树结构的提升，用于创建一个单一的决策树，并表明，这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下，通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用（如医学）所需的预测性能，但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树，这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
HHCART: An Oblique Decision Tree
University of Canterbury（坎特伯雷大学）；University of Wyoming（怀俄明大学）
决策树是统计数据分类中的一种流行技术。它们递归地将特征空间划分为不相交的子区域，直到每个子区域相对于特定的类变得均匀。基本的分类和回归树（CART）算法使用轴平行分裂来划分特征空间。当真正的决策边界与特征轴不对齐时，这种方法会产生复杂的边界结构。斜决策树使用斜决策边界来潜在地简化边界结构。这种方法的主要局限性是树归纳算法计算量大。在这篇文章中，我们提出了一个新的决策树算法，称为HHCART。该方法利用一系列Householder矩阵来反映树构建过程中每个节点处的训练数据。每个反射基于来自每个类别的协方差阵的特征向量的方向。在反射的训练数据中考虑轴平行分裂提供了在未反射的训练数据中找到倾斜分裂的有效方式。实验结果表明，HHCART树的精度和大小与文献中的一些基准方法相当。HHCART的吸引人的特点是，它可以处理定性和定量的特点，在同一斜分裂。
2015-04-14 cs.LG stat.ML
Contextual Decision Trees
Università degli Studi di Firenze（佛罗伦萨大学）
针对随机森林，我们提出了一个多臂上下文强盗推荐框架，用于基于特征选择学习集合的单个浅树。在随机森林之上工作的经过训练的系统动态地识别负责提供最终输出的基本预测器。通过这种方式，我们通过观察推荐树的规则来获得本地解释。实验结果表明，该方法的预测性能优于一个独立的拟合CART决策树和整个黑盒随机森林。
2022-07-13 cs.LG stat.ML
Analyzing decision tree bias towards the minority class
University of Western Ontario（西安大略大学）
本文分析了决策树对少数类的偏见问题，指出在特定条件下决策树可能偏向少数类，并提出通过正则化方法减少偏见，对随机森林等树基模型的应用有启示。
2026-01-28 cs.LG stat.ML
Big Data Classification Using Augmented Decision Trees
Chennai Mathematical Institute（金奈数学研究所）
我们提出了一个算法，分类任务的大数据。作为本研究的一部分进行的实验表明，该算法可以准确集成方法，如随机森林或梯度提升树。与集成方法不同，该算法产生的模型可以很容易地解释。该算法是基于分而治之的战略，包括两个步骤。第一步是使用决策树来分割大型数据集。通过构造，决策树试图在其叶节点中创建均匀的类分布。然而，通常会产生非均匀的叶节点。该算法的第二步包括使用合适的分类器来确定非同质叶节点的类标签。决策树分段提供粗略的分段简档，而叶级分类器可以提供关于影响分段内的标签的属性的信息。
2017-10-26 cs.LG stat.ML
Optimal Sparse Decision Trees
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；The University of British Columbia（不列颠哥伦比亚大学）
针对传统决策树缺乏最优性保证的问题，本文提出首个面向二值变量的实用最优稀疏决策树算法 OSDT，通过解析界与位向量等系统技术协同优化搜索，在可扩展性、速度和最优性证明上表现更优。
2023-09-26 cs.LG stat.ML
QUBO Decision Tree: Annealing Machine Extends Decision Tree Splitting
Hitachi Ltd.（日立有限公司）
本文提出了一种基于二次无约束二元优化（QUBO）的回归树扩展方法。回归树是非常流行的预测模型，可以用表格数据集进行训练，但由于决策规则过于简单，因此其准确性不足。该方法将决策树中的决策规则扩展到多维边界。由于计算限制，这种扩展通常无法实现，然而，所提出的方法将训练过程转换为QUBO，这使得退火机能够解决这个问题。
2023-03-17 cs.LG physics.data-an
dtControl: Decision Tree Learning Algorithms for Controller Representation
Technical University of Munich（慕尼黑工业大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Ludwig Maximilian University of Munich（慕尼黑大学）
决策树学习是机器学习应用中最常用的流行分类技术。最近的工作表明，决策树可以用来表示证明正确的控制器简洁。与使用查找表或二元决策图的表示相比，决策树更小，更易于解释。我们提出dtControl，一个易于扩展的工具，用于表示无记忆控制器作为决策树。我们给出了一个综合评价的各种决策树学习算法适用于10个案例研究所产生的正确的建设控制器合成。这些算法包括两个新的技术，一个是使用任意线性二进制分类器的决策树学习，和一个新的方法来确定控制器在决策树建设。特别是后者被证明是非常有效的，产生决策树与一位数的决策节点的5个案例研究。
2020-02-12 cs.AI cs.LG cs.SY
Collapsing the Decision Tree: the Concurrent Data Predictor
通过消除属性顺序求值的限制，从决策树分类器中导出了一类并发数据预测器。通过并发地评估属性，决策树折叠成扁平结构。实验结果表明，该方法提高了预测精度。
2021-08-09 cs.LG
An Algorithmic Framework for Constructing Multiple Decision Trees by Evaluating Their Combination Performance Throughout the Construction Process
提出一种同时构造并全程评估组合性能的决策树构建框架，通过迭代候选生成与择优，优于传统装袋和提升方法。
2024-02-09 cs.LG
Evolutionary algorithms for constructing an ensemble of decision trees
Yandex；National Research University Higher School of Economics（俄罗斯国立高等经济研究大学）
大多数决策树归纳算法是基于一个贪婪的自顶向下递归划分策略的树生长。本文提出了几种基于进化算法的决策树及其集成的归纳方法。我们的方法的主要区别是使用实值向量表示的决策树，允许使用大量不同的优化算法，以及优化整个树或集成，以避免局部最优。选择差分进化和演化策略作为优化算法，因为它们在强化学习问题中具有良好的效果。我们使用几个公开的UCI数据集测试了这些方法的预测性能，所提出的方法表现出比经典方法更好的质量。
2020-02-03 cs.LG cs.NE stat.ML
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
Succinct Explanations With Cascading Decision Trees
Yale University（耶鲁大学）；Barnard College（巴纳德学院）
决策树是20世纪80年代以来最流行和最经典的机器学习模型之一。然而，在许多实际应用中，决策树往往会生成深度过大的决策路径。长的决策路径通常会导致过拟合问题，并使模型难以解释。由于决策路径较长，当数据包含缺失值时，推理也更有可能失败。在这项工作中，我们提出了一个新的树模型称为级联决策树，以减轻这个问题。级联决策树的核心思想是将决策路径和解释路径分开，实验结果表明，级联决策树生成的解释路径平均缩短了63.38%，避免了过拟合，从而获得了更高的测试精度。我们还实证表明，级联决策树的优势，对缺失值的鲁棒性。
2022-11-29 cs.AI cs.LG
End-to-end Learning of Deterministic Decision Trees
Heidelberg University（海德堡大学）
传统的决策树具有许多有利的特性，包括可解释性，小的计算足迹和从少量训练数据中学习的能力。然而，它们缺乏一个有助于推动深度学习革命的关键品质：端到端的可训练性，以及从头开始学习那些最适合解决给定监督学习问题的功能。最近的工作（Kontakeder 2015）已经解决了这个问题，但代价是失去了决策树的一个主要吸引人的特性：每个样本只沿着树节点的一个小子集路由。在这里，我们提出了一个模型和期望最大化的训练计划，决策树是完全概率在训练时间，但经过确定性退火过程成为确定性的测试时间。我们还分析了图像数据集上的学习斜分裂参数，并表明神经网络可以在每个分裂节点上进行训练。总而言之，我们提出了第一个用于确定性决策树的端到端学习方案，并提出了与已发布的标准倾斜决策树算法相当或更好的结果。
2017-12-07 cs.CV cs.LG stat.ML
Interfering Paths in Decision Trees: A Note on Deodata Predictors
提出了一种提高决策树预测精度的技术。它包括在多个路径上并行评估树的分支。该技术使预测与deodata算法的最近邻域变体生成的预测更加一致。该技术还使杂交的决策树算法与最近的邻域变量。
2022-02-24 cs.LG
Proper decision trees: An axiomatic framework for solving optimal decision tree problems with arbitrary splitting rules
Peking University（北京大学）；University of Birmingham（伯明翰大学）
本文提出公理化框架分析决策树算法，聚焦Proper决策树，证明其可唯一刻画为K-排列，并开发通用动态规划方法精确求解最优决策树问题，同时澄清记忆化空间复杂度的矛盾，并扩展至多种非Proper决策树。
2025-10-23 cs.DS cs.LG
Unifying Decision Trees Split Criteria Using Tsallis Entropy
Tsinghua University（清华大学）
由于决策树的简单性和灵活性，构造高效的决策树仍然是机器学习中的一个关键课题。人们提出了许多启发式算法来构造近似最优决策树。ID3、C4.5和CART是经典的决策树算法，它们分别采用了Shannon熵、增益比和Gini指数作为分割准则。所有的分裂准则看起来是独立的，实际上，它们可以统一在一个Tsallis熵框架中。Tsallis熵是Shannon熵的一种推广，通过引入可调参数$q$，为提高决策树的性能提供了一种新的途径。提出了一种Tsallis熵准则（TEC）算法，将Shannon熵、增益比和Gini指数统一起来，推广了决策树的分裂准则。更重要的是，我们揭示了不同$q$的Tsallis熵与其他分裂准则之间的关系。UCI数据集上的实验结果表明，TEC算法取得了统计上显着的改善，比经典算法。
2016-08-23 cs.AI cs.LG stat.ML
RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior
本文提出RJHMC-Tree方法，利用哈密顿蒙特卡洛结合似然几何结构高效探索贝叶斯决策树后验，并在标准数据集上验证其在预测准确率、接受率和树复杂度方面的优势。
2023-12-04 cs.LG stat.CO stat.ML
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对强化学习中神经网络策略缺乏可解释性的问题，提出决策树策略优化（DTPO）算法，利用策略梯度直接优化完整决策树，实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
FoLDTree: A ULDA-Based Decision Tree Framework for Efficient Oblique Splits and Feature Selection
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出LDATree和FoLDTree两种基于ULDA的决策树框架，实现高效斜切分、特征选择与多类分类，性能优于传统斜树，准确率媲美随机森林。
2025-05-23 cs.LG stat.ME stat.ML
Backtrack Tie-Breaking for Decision Trees: A Note on Deodata Predictors
提出了一种在决策树中选择预测类或结果的平局打破方法。该方法是用于deodata预测器的类似技术的适应。
2022-02-09 cs.LG
A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下，并比较三种类型的提升算法：概率Adaboost，决策树，树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称，这是我们的贡献之一。我们的另一个贡献是算法的理论分析，其中我们给出了训练误差界。这一分析表明，俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
Learning stochastic decision trees
Stanford（斯坦福大学）；MIT（麻省理工学院）
我们给出了一个学习随机决策树的准多项式时间算法，该算法对对抗性噪声具有最佳弹性。给定一个$η$ -损坏的均匀随机样本集标记的大小- $s$随机决策树，我们的算法运行在时间$n^{O(\log(s/\varepsilon)/\varepsilon^2)}$，并返回一个假设与误差内的添加剂$2η+ \varepsilon$的贝叶斯最优。加性$2η$是信息论最小值。以前没有非平凡的算法与$O(η) + \varepsilon$的保证是已知的，即使是较弱的噪声模型。此外，我们的算法是正确的，返回一个假设，这本身就是一个决策树，以前没有这样的算法是已知的，即使在无噪声设置。
2021-05-08 cs.DS cs.LG stat.ML
Batched Lazy Decision Trees
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）
我们介绍了一个批处理懒惰算法的监督分类使用决策树。它避免了不必要的访问不相关的节点时，它是用来进行预测，无论是热切或懒惰训练决策树。实验结果表明，该算法在计算时间和内存消耗方面均优于传统的和惰性的决策树算法，且不影响算法的准确性.
2016-03-08 cs.LG
Multiple decision trees
University of Sydney（悉尼大学）
本文介绍了实验，在两个领域，调查的影响，平均多个决策树的预测，而不是使用一个单一的树。其他作者指出了倾向于多树方法的理论和常识原因。理想情况下，我们会考虑所有树的预测，并根据它们的概率进行加权。然而，存在大量不同的树，很难估计每棵树的概率。我们避开了估计问题，使用修改版本的ID 3算法来构建良好的树，并平均只在这些树。我们的成果令人鼓舞。对于每个域，我们设法产生少量的好树。我们发现，最好是在具有不同结构的树的集合之间取平均值;这通常比任何组成树（包括ID 3树）提供更好的性能。
2013-03-27 cs.AI cs.LG stat.ML
Yet Another Representation of Binary Decision Trees: A Mathematical Demonstration
本文提出一种基于位向量矩阵的决策树数值表示，将逻辑与运算转为算术运算，实现遍历，并统一扩展多种决策树。
2024-11-06 cs.LG
Contextual Care Protocol using Neural Networks and Decision Trees
International Institute of Information Technology（国际信息技术学院）
背景护理协议由医疗从业者用于患者保健，给定指定患者所处的背景或情况。本文提出了一种建立自动化自适应协议的方法，该协议可以帮助做出相关的早期决策，以实现有效的医疗服务。混合模型利用神经网络和决策树。神经网络估计每种疾病的机会，并且决策树中的每棵树表示疾病的护理协议。如果诊断医生发现异常，这些树会发生变化。这些修正或预测错误被聚类到类似的组中，以便于专家进行可扩展性和审查。专家建议的修正已纳入模型。
2018-11-15 cs.CY cs.LG stat.ML
bsnsing: A decision tree induction method based on recursive optimal boolean rule composition
Wayne State University（韦恩州立大学）
本文提出了一种新的混合整数规划（MIP）制定优化分裂规则选择的决策树归纳过程中，并开发了一种有效的搜索算法，能够解决实际情况下的MIP模型比商业求解器更快。该公式是新颖的，它直接最大限度地减少基尼系数，一个有效的分裂选择标准，从来没有在一个数学规划建模的非凸性。该方法与其他最优分类树模型的不同之处在于，它不试图优化整个树，因此保留了递归划分方案的灵活性，并且优化模型更容易接受。该方法在一个名为bsnsing的开源R包中实现。在75个开放数据集上的基准测试表明，与R中的rpart、C50、party和tree等其他决策树代码训练的树相比，bsnsing树最有能力区分新的情况。与其他最优决策树包相比，包括DL8.5，OSDT，GOSDT和间接更多，bsnsing在其训练速度，易用性和更广泛的适用性方面脱颖而出，而不会损失预测精度。
2022-05-30 cs.LG cs.MS stat.ML
Exploring Loss Design Techniques For Decision Tree Robustness To Label Noise
Auton Lab, Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所Auton实验室）
本研究探讨深度学习损失设计思想能否提升决策树对标签噪声的鲁棒性，发现标准方法无效，需探索新方向。
2024-05-27 cs.AI cs.LG stat.ML
Decision tree heuristics can fail, even in the smoothed setting
Stanford（斯坦福大学）；MIT（麻省理工学院）
贪婪决策树学习算法是机器学习实践的支柱，但其经验成功的理论依据仍然难以捉摸。事实上，人们早就知道，有一些简单的目标功能，他们失败严重（卡恩斯和曼苏尔，STOC 1996）。Brutzkus，Daniely和Malach（COLT 2020）最近的工作认为平滑分析模型是解决这种脱节的可能途径。在平滑设置中，对于$k$ -juntas的目标$f$，他们表明这些算法成功地学习了具有深度$k$决策树假设的$f$。他们强调，对于深度$k$决策树的目标，同样的保证更普遍。我们提供了一个反例，这个猜想：我们构建的目标是深度$k$决策树，并表明，即使在平滑设置，这些算法建立树的深度$2^{Ω(k)}$之前，实现高精度。我们还表明，Brutzkus等人的保证。不能扩展到不可知的设置：有非常接近$k$ -juntas的目标，这些算法建立树的深度$2^{Ω(k)}$之前实现高精度。
2021-07-02 cs.DS cs.LG stat.ML
Divide, Conquer, Combine Bayesian Decision Tree Sampling
本文提出DCC-Tree方法，通过将每个树结构与唯一决策参数关联，解决了贝叶斯决策树采样中结构与参数耦合难题，提升了采样效率与一致性。
2024-03-26 cs.LG
Enhance Learning Efficiency of Oblique Decision Tree via Feature Concatenation
College of Computer Science and Software Engineering, Hohai University（河海大学计算机与软件学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence and Information Technology, Nanjing University of Chinese Medicine（南京中医药大学人工智能与信息技术学院）
提出FC-ODT方法，通过特征拼接实现模型内特征转换以传递线性投影，解决了斜决策树参数浪费问题，在有限树深度下泛化性能优于现有决策树。
2025-02-01 cs.AI cs.LG stat.ML
Genetic Adversarial Training of Decision Trees
University of Padova（帕多瓦大学）
我们提出了一种新的学习方法集成的决策树的遗传算法的基础上，它是能够训练的决策树，以最大限度地提高其准确性和鲁棒性对抗扰动。这种学习算法内部利用了一个完整的形式化验证技术的鲁棒性的决策树的基础上抽象的解释，一个众所周知的静态程序分析技术。我们在一个名为Meta-Silencer（MS）的工具中实现了这种遗传对抗训练算法，并在对抗训练中使用的一些参考数据集上进行了实验评估。实验结果表明，MS是能够训练强大的模型，竞争，并经常改善目前的最先进的对抗训练的决策树，而更紧凑，因此可解释和有效的树模型。
2020-12-21 cs.LG
