A short note on the decision tree based neural turing machine
grusoft（格鲁软件）
图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展，它们之间出现了交叉。神经图灵机（NTM）为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中，我们展示了这两个模型之间的深层联系。即：可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系，我们提出了一个响应增强差分森林（RaDF）。RaDF的控制器是可微森林，外部存储器是响应向量，可由叶子节点读写。
2020-10-27 cs.AI cs.LG cs.NE
Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees
本研究提出一种基于提升的序列元树集成构建方法，旨在解决决策树过拟合问题，并通过实验证明其优于传统决策树集成。
2024-02-09 cs.LG stat.ML
The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of Decision Trees
University of California, Berkeley（加州大学伯克利分校）
决策树是一种广泛使用的分类方法，无论是其本身还是作为多种不同集成学习方法的构建块。最大切割决策树涉及到一个标准的新的修改，分类决策树建设的基线模型，准确地说，CART基尼。一种修改涉及另一种分裂度量，最大切割，基于最大化属于不同类别和阈值的不同侧的所有观测对之间的距离。另一个修改是从使用主成分分析（PCA）在每个节点本地构造的输入特征的线性组合中选择决策特征。我们的实验表明，这种基于节点的局部PCA与新的分裂修改可以显着提高分类，同时也显着减少计算时间相比，基线决策树。此外，我们的结果是最显着的数据集进行评估时，具有更高的维度，或更多的类;其中，例如数据集CIFAR-100，使49%的准确性提高，同时减少94%的CPU时间。这些引入的修改大大提高了决策树的能力，难以分类的任务。
2020-06-25 cs.LG stat.ML
Extremely Fast Decision Tree
Monash University（莫纳什大学）
我们介绍了一种新的增量决策树学习算法，Hoeffding任意时间树，这是统计上更有效的比目前的国家的最先进的，Hoeffding树。我们证明了Hoeffding Anytime Tree的实现-“极快决策树“，对Hoeffding Tree的MOA实现的微小修改-在UCI存储库中最大的分类数据集上获得了显着优越的prequential准确性。Hoeffding Anytime Tree在极限下产生渐近批处理树，对概念漂移具有自然弹性，并且在大多数情况下可以用作Hoeffding Tree的更高精度替代品，只需少量额外的计算成本。
2018-02-24 cs.LG stat.ML
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK（计算与工程学院贝德福德郡大学，卢顿，英国）
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树，建立了理性承诺阈值的完整非渐近理论，回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Decision Tree Design for Classification in Crowdsourcing Systems
Syracuse University（雪城大学）
在本文中，我们提出了一种新的顺序范式分类在众包系统。考虑到工人是不可靠的，他们执行的测试与错误，我们研究了决策树的建设，以尽量减少错误分类的概率。利用决策树各级熵与误分类概率之间的关系，提出了两种决策树设计算法。此外，工人分配问题进行了研究时，工人可以被分配到不同的测试的决策树，以提供分类成本和所产生的错误性能之间的权衡。数值结果是为了说明。
2018-05-01 cs.LG stat.ML
A Bayesian Decision Tree Algorithm
UBS（瑞银集团（UBS））
贝叶斯决策树以其概率可解释性而闻名。然而，它们的建造有时可能是昂贵的。在这篇文章中，我们提出了一个通用的贝叶斯决策树算法适用于回归和分类问题。该算法不应用马尔可夫链蒙特卡罗，不需要修剪步骤。虽然可以构造一个加权概率树空间，但我们发现一个特定的树，贪婪模态树（GMT），解释了数值示例中包含的大部分信息。这种方法似乎与随机森林类似。
2020-09-22 cs.LG stat.ML
Oblique Decision Trees from Derivatives of ReLU Networks
我们展示了如何神经模型可以用来实现分段常数函数，如决策树。所提出的架构，我们称之为局部常数网络，建立在分段线性的ReLU网络上，因此它们相对于输入的相关梯度是局部常数。我们正式建立了局部常数网络类和决策树类之间的等价关系。此外，我们强调了局部常数网络的几个有利特性，包括它们如何实现跨分支/叶子共享参数的决策树。实际上，只有$M$神经元才足以隐式地对具有$2^M$叶节点的倾斜决策树进行建模。神经表示还使我们能够采用为深度网络开发的许多工具（例如，DropConnect（Wan等人，2013）），同时隐式地训练决策树。我们证明，我们的方法优于替代技术训练斜决策树的分子属性分类和回归任务的背景下。
2020-05-03 cs.LG stat.ML
Dive into Decision Trees and Forests: A Theoretical Demonstration
基于决策树，近年来许多领域都取得了巨大的进展。简单地说，决策树使用“分而治之”的策略将输入特征与标签之间的依赖关系这一复杂问题分解为较小的问题。虽然决策树有很长的历史，但最近的进展大大提高了它们在计算广告、推荐系统、信息检索等方面的性能。贝叶斯CART，贝叶斯回归样条）和训练技术（例如，混合整数规划、交替优化、梯度下降）。一路上，我们强调基于树的模型的概率特性，并解释其实际和理论上的好处。除了机器学习和数据采掘之外，本文还试图从统计学和运筹学等其他领域展示树型模型的理论进展。我们在每个方法的末尾列出了可重复的资源。
2021-01-20 cs.LG stat.ML
Distributed Decision Trees
Cornell University（康奈尔大学）；Boğaziçi University（海峡大学）
最近提出的萌芽树是一种决策树算法，其中每个节点是部分内部节点和部分叶子。这允许在连续参数空间中表示每个决策树，因此萌芽树可以与反向传播联合训练，就像神经网络一样。尽管这种连续性允许它用于分层表示学习，但学习的表示是局部的：激活在树中的所有根到叶路径中进行软选择。在这项工作中，我们扩展了萌芽树，并提出了分布式树的孩子使用不同的和独立的分裂，因此在一棵树中的多条路径可以在同一时间遍历。这种组合多个路径的能力提供了分布式表示的能力，就像传统的感知器层一样。我们发现，分布式树的分类和回归任务的表现比萌芽和传统的硬树。
2014-12-19 cs.LG stat.ML
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California（南加州大学）
为了更深入地了解卷积神经网络（CNN）如何对人类可理解的概念进行推理，我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息，以及提供对概念如何彼此交互的理解。实验表明，所提取的决策树能够准确地表示原始CNN的分类在低树深度，从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
Improved Information Gain Estimates for Decision Tree Induction
Microsoft Research Cambridge（微软研究院剑桥分部）
分类树和回归树的集合仍然是流行的机器学习方法，因为它们定义了灵活的非参数模型，这些模型在训练和测试期间预测良好，并且计算效率高。在决策树的归纳过程中，我们的目标是找到关于预测目标的最大信息的谓词。为了选择好的谓词，大多数方法估计信息理论的评分函数，信息增益，分类和回归问题。我们指出，共同的估计程序是有偏见的，并表明，通过取代它们与改进的离散和微分熵的估计，我们可以得到更好的决策树。实际上，我们的修改产生了改进的预测性能，并且易于在任何决策树代码中实现。
2012-06-18 cs.LG stat.ML
Automatic Induction of Neural Network Decision Tree Algorithms
Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）
本文提出了一种基于神经网络结构的非贪婪决策树的自动归纳方法。这种构造可以用于在增长或修剪决策树时转移权重，允许非贪婪决策树算法自动学习和适应理想架构。在这项工作中，我们研究了集成建模和贝叶斯模型平均的基础思想，使我们的神经网络通过权重转移渐近接近理想的体系结构。实验结果表明，该方法提高了决策树模型和决策森林模型在固定的超参数集的模型。
2019-04-25 cs.LG stat.ML
Trinary Decision Trees for handling missing data
Stockholm University（斯德哥尔摩大学）
本文提出三元决策树，不假设缺失值含响应信息，在完全随机缺失场景下优于现有算法，并与MIA方法结合形成TrinaryMIA树以提升各类缺失场景下的稳健性和准确性。
2024-01-11 cs.LG stat.ML
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Toronto（多伦多大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
决策树因其易用性和可解释性而在机器学习中无处不在。然而，这些模型通常不用于强化学习，因为它们不能通过随机梯度下降在线更新。我们克服了这一限制，允许在整个树，提高样本的复杂性，提供可解释的政策提取梯度更新。首先，我们包括政策梯度学习的需要，通过检查梯度下降的性质可微决策树的理论动机。其次，我们证明了我们的方法在所有领域都等同于或优于神经网络，并且可以在线学习离散的决策树，其平均奖励比批量训练的决策树高出7倍。第三，我们进行了一项用户研究，以量化决策树，规则列表和神经网络的可解释性与统计上显着的结果（$p < 0.001$）。
2020-06-25 cs.LG stat.ML
Generalized and Scalable Optimal Sparse Decision Trees
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）
从计算的角度来看，决策树优化是非常困难的，但对于可解释的机器学习领域来说是必不可少的。尽管在过去的40年里一直在努力，但直到最近才取得了优化突破，使实用算法能够找到最佳决策树。这些新技术有可能引发范式转变，其中可以构建稀疏决策树来有效地优化各种目标函数，而不依赖于贪婪分裂和修剪算法，这些算法通常会导致次优解。在这项工作中的贡献是提供一个通用的框架决策树优化，解决了两个重要的开放问题，在该地区：不平衡数据的处理和充分优化连续变量。我们提出的技术，产生最佳的决策树在各种目标，包括F-分数，AUC，和部分区域下的ROC凸包。我们还介绍了一个可扩展的算法，产生可证明的最佳结果，在连续变量的存在下，并加快了决策树建设的几个数量级相对于最先进的。
2022-11-22 cs.LG stat.ML
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法，如流行的Hoeffding树算法。从统计学的角度来看，在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清，一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白，推导出准确的置信区间估计分裂增益决策树学习的三个标准：熵，基尼指数，和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置，其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率，分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明，我们的树确实比其他技术生成的具有相同数量叶子的树更准确，并且我们的主动学习模块允许节省标记成本。此外，比较我们的标签策略与最近的方法，我们表明，我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
Prediction Algorithms Achieving Bayesian Decision Theoretical Optimality Based on Decision Trees as Data Observation Processes
Waseda University（早稻田大学）；Gunma University（群马大学）
针对决策树预测难保证统计最优、易过拟合且贝叶斯最优预测计算不可行的问题，研究将决策树作为数据观测过程，用步长自适应的马尔可夫链蒙特卡洛方法求解划分轴组合求和，实现贝叶斯决策理论最优预测。
2023-06-12 cs.LG stat.ML
An Experimental Comparison of Old and New Decision Tree Algorithms
University of California, Merced（加利福尼亚大学默塞德分校）
本文提出了一个详细的比较，最近提出的算法优化决策树，树交替优化（TAO），与其他流行的，建立算法。我们比较了它们在不同复杂度、不同大小和维度的分类和回归数据集上的性能，这些数据集涉及不同的性能因素：准确性和树的大小（根据叶子的数量或树的深度）。我们发现，TAO在几乎所有的数据集上都达到了更高的准确性，而且往往是大幅度的。
2020-03-20 cs.LG stat.ML
Deep Neural Decision Trees
The University of Edinburgh（爱丁堡大学）
深度神经网络已被证明在处理图像和音频等感知数据方面非常强大。然而，对于表格数据，基于树的模型更受欢迎。基于树的模型的一个很好的特性是它们的自然可解释性。在这项工作中，我们提出了深度神经决策树（DNDT）-由神经网络实现的树模型。DNDT本质上是可解释的，因为它是一棵树。然而，由于它也是一个神经网络（NN），它可以很容易地在NN工具包中实现，并使用梯度下降而不是贪婪分裂进行训练。我们在几个表格数据集上评估了DNDT，验证了它的有效性，并研究了DNDT和香草决策树之间的异同。有趣的是，DNDT在分割和特征级别都进行了自修剪。
2018-06-19 cs.LG stat.ML
Learning Optimal Decision Trees from Large Datasets
Computer Research Institute of Montreal（蒙特利尔计算机研究所）
从给定的数据集推断决策树是机器学习中的经典问题之一。这个问题包括建筑物，从一个标记的数据集，一棵树，使得每个节点对应于一个类和路径之间的树根和叶子对应于一个连接的功能，以满足在这个类。遵循简约原则，我们希望推断出与数据集一致的最小树。不幸的是，推断一个最佳的决策树是已知的NP完全的几个定义的最优性。因此，大多数现有的方法依赖于推理，而对于少数精确推理方法，它们不适用于大数据集。本文提出了一种基于布尔公式增量生成的最小深度决策树推断方法。实验结果表明，它的规模足够好，运行时间随着数据集的大小缓慢增长。
2019-04-12 cs.LG stat.ML
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania（宾夕法尼亚大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）；University of Maryland Medical Center（马里兰大学医学中心）
加法模型，例如由梯度提升产生的，以及全交互模型，例如分类和回归树（CART），是广泛使用的算法，这些算法在很大程度上被孤立地研究。我们表明，这些模型存在于一个频谱，揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术，称为树结构的提升，用于创建一个单一的决策树，并表明，这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下，通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用（如医学）所需的预测性能，但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树，这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
HHCART: An Oblique Decision Tree
University of Canterbury（坎特伯雷大学）；University of Wyoming（怀俄明大学）
决策树是统计数据分类中的一种流行技术。它们递归地将特征空间划分为不相交的子区域，直到每个子区域相对于特定的类变得均匀。基本的分类和回归树（CART）算法使用轴平行分裂来划分特征空间。当真正的决策边界与特征轴不对齐时，这种方法会产生复杂的边界结构。斜决策树使用斜决策边界来潜在地简化边界结构。这种方法的主要局限性是树归纳算法计算量大。在这篇文章中，我们提出了一个新的决策树算法，称为HHCART。该方法利用一系列Householder矩阵来反映树构建过程中每个节点处的训练数据。每个反射基于来自每个类别的协方差阵的特征向量的方向。在反射的训练数据中考虑轴平行分裂提供了在未反射的训练数据中找到倾斜分裂的有效方式。实验结果表明，HHCART树的精度和大小与文献中的一些基准方法相当。HHCART的吸引人的特点是，它可以处理定性和定量的特点，在同一斜分裂。
2015-04-14 cs.LG stat.ML
Contextual Decision Trees
Università degli Studi di Firenze（佛罗伦萨大学）
针对随机森林，我们提出了一个多臂上下文强盗推荐框架，用于基于特征选择学习集合的单个浅树。在随机森林之上工作的经过训练的系统动态地识别负责提供最终输出的基本预测器。通过这种方式，我们通过观察推荐树的规则来获得本地解释。实验结果表明，该方法的预测性能优于一个独立的拟合CART决策树和整个黑盒随机森林。
2022-07-13 cs.LG stat.ML
Analyzing decision tree bias towards the minority class
University of Western Ontario（西安大略大学）
本文分析了决策树对少数类的偏见问题，指出在特定条件下决策树可能偏向少数类，并提出通过正则化方法减少偏见，对随机森林等树基模型的应用有启示。
2026-01-28 cs.LG stat.ML
Big Data Classification Using Augmented Decision Trees
Chennai Mathematical Institute（金奈数学研究所）
我们提出了一个算法，分类任务的大数据。作为本研究的一部分进行的实验表明，该算法可以准确集成方法，如随机森林或梯度提升树。与集成方法不同，该算法产生的模型可以很容易地解释。该算法是基于分而治之的战略，包括两个步骤。第一步是使用决策树来分割大型数据集。通过构造，决策树试图在其叶节点中创建均匀的类分布。然而，通常会产生非均匀的叶节点。该算法的第二步包括使用合适的分类器来确定非同质叶节点的类标签。决策树分段提供粗略的分段简档，而叶级分类器可以提供关于影响分段内的标签的属性的信息。
2017-10-26 cs.LG stat.ML
Optimal Sparse Decision Trees
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；The University of British Columbia（不列颠哥伦比亚大学）
针对传统决策树缺乏最优性保证的问题，本文提出首个面向二值变量的实用最优稀疏决策树算法 OSDT，通过解析界与位向量等系统技术协同优化搜索，在可扩展性、速度和最优性证明上表现更优。
2023-09-26 cs.LG stat.ML
Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
可解释性和有效性是在现实中采用机器学习方法的两个基本且不可或缺的要求。在本文中，我们提出了一个知识蒸馏为基础的决策树扩展，被称为整流决策树（ReDT），探索同时满足这些要求的可能性。具体来说，我们扩展了标准决策树的分裂标准和结束条件，允许使用软标签进行训练，同时保留确定性的分裂路径。然后，我们训练的ReDT的基础上的软标签从一个训练有素的教师模型通过一种新的基于折刀的方法。因此，ReDT保留了决策树的优秀可解释性，同时具有相对良好的性能。本文还从理论和实证两方面分析了采用软标签替代硬标签的有效性。令人惊讶的是，实验表明，软标签的引入也减少了模型的大小相比，标准的决策树从总节点和规则的方面，这是一个意想不到的礼物，从“暗知识”从教师模型蒸馏。
2020-08-21 cs.LG stat.ML
A Novel Hyperparameter-free Approach to Decision Tree Construction that Avoids Overfitting by Design
IMDEA Networks Institute（IMDEA网络研究所）
决策树是一种非常流行的机器学习技术。不幸的是，过拟合在决策树仍然是一个开放的问题，有时会阻止实现良好的性能。在这项工作中，我们提出了一种新的方法来构建决策树，避免过度拟合的设计，而不会失去准确性。我们的算法的一个显着特点是，它既不需要优化任何超参数，也不使用正则化技术，从而显着减少了决策树的训练时间。此外，我们的算法产生更小，更浅的树比传统算法，促进所产生的模型的可解释性。
2019-06-04 cs.AI cs.LG stat.ML
Decision Trees for Decision-Making under the Predict-then-Optimize Framework
Amazon（亚马逊）
我们考虑使用决策树的预测，然后优化框架下的决策问题。也就是说，我们希望首先使用决策树来预测优化问题的未知输入参数，然后通过使用预测的参数解决优化问题来做出决策。该框架中的自然损失函数是测量由预测的输入参数引起的决策的次优性，而不是使用输入参数预测误差来测量损失。这种自然的损失函数在文献中被称为智能预测然后优化（SPO）损失，我们提出了一种易于处理的方法，称为SPO树（SPOTs），用于在这种损失下训练决策树。SPOT受益于决策树的可解释性，提供了一个可解释的上下文特征分割成组，具有不同的最佳解决方案的优化问题的兴趣。我们进行了几个数值实验的合成和真实的数据，包括预测旅行时间的最短路径问题和预测点击概率的新闻文章推荐。我们在这些数据集上证明，SPOT同时提供了比其他机器学习方法（例如，CART）训练以最小化预测误差。
2020-06-18 cs.LG math.OC stat.ML
Evolutionary algorithms for constructing an ensemble of decision trees
Yandex；National Research University Higher School of Economics（俄罗斯国立高等经济研究大学）
大多数决策树归纳算法是基于一个贪婪的自顶向下递归划分策略的树生长。本文提出了几种基于进化算法的决策树及其集成的归纳方法。我们的方法的主要区别是使用实值向量表示的决策树，允许使用大量不同的优化算法，以及优化整个树或集成，以避免局部最优。选择差分进化和演化策略作为优化算法，因为它们在强化学习问题中具有良好的效果。我们使用几个公开的UCI数据集测试了这些方法的预测性能，所提出的方法表现出比经典方法更好的质量。
2020-02-03 cs.LG cs.NE stat.ML
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
End-to-end Learning of Deterministic Decision Trees
Heidelberg University（海德堡大学）
传统的决策树具有许多有利的特性，包括可解释性，小的计算足迹和从少量训练数据中学习的能力。然而，它们缺乏一个有助于推动深度学习革命的关键品质：端到端的可训练性，以及从头开始学习那些最适合解决给定监督学习问题的功能。最近的工作（Kontakeder 2015）已经解决了这个问题，但代价是失去了决策树的一个主要吸引人的特性：每个样本只沿着树节点的一个小子集路由。在这里，我们提出了一个模型和期望最大化的训练计划，决策树是完全概率在训练时间，但经过确定性退火过程成为确定性的测试时间。我们还分析了图像数据集上的学习斜分裂参数，并表明神经网络可以在每个分裂节点上进行训练。总而言之，我们提出了第一个用于确定性决策树的端到端学习方案，并提出了与已发布的标准倾斜决策树算法相当或更好的结果。
2017-12-07 cs.CV cs.LG stat.ML
Unifying Decision Trees Split Criteria Using Tsallis Entropy
Tsinghua University（清华大学）
由于决策树的简单性和灵活性，构造高效的决策树仍然是机器学习中的一个关键课题。人们提出了许多启发式算法来构造近似最优决策树。ID3、C4.5和CART是经典的决策树算法，它们分别采用了Shannon熵、增益比和Gini指数作为分割准则。所有的分裂准则看起来是独立的，实际上，它们可以统一在一个Tsallis熵框架中。Tsallis熵是Shannon熵的一种推广，通过引入可调参数$q$，为提高决策树的性能提供了一种新的途径。提出了一种Tsallis熵准则（TEC）算法，将Shannon熵、增益比和Gini指数统一起来，推广了决策树的分裂准则。更重要的是，我们揭示了不同$q$的Tsallis熵与其他分裂准则之间的关系。UCI数据集上的实验结果表明，TEC算法取得了统计上显着的改善，比经典算法。
2016-08-23 cs.AI cs.LG stat.ML
RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior
本文提出RJHMC-Tree方法，利用哈密顿蒙特卡洛结合似然几何结构高效探索贝叶斯决策树后验，并在标准数据集上验证其在预测准确率、接受率和树复杂度方面的优势。
2023-12-04 cs.LG stat.CO stat.ML
FoLDTree: A ULDA-Based Decision Tree Framework for Efficient Oblique Splits and Feature Selection
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出LDATree和FoLDTree两种基于ULDA的决策树框架，实现高效斜切分、特征选择与多类分类，性能优于传统斜树，准确率媲美随机森林。
2025-05-23 cs.LG stat.ME stat.ML
Learning stochastic decision trees
Stanford（斯坦福大学）；MIT（麻省理工学院）
我们给出了一个学习随机决策树的准多项式时间算法，该算法对对抗性噪声具有最佳弹性。给定一个$η$ -损坏的均匀随机样本集标记的大小- $s$随机决策树，我们的算法运行在时间$n^{O(\log(s/\varepsilon)/\varepsilon^2)}$，并返回一个假设与误差内的添加剂$2η+ \varepsilon$的贝叶斯最优。加性$2η$是信息论最小值。以前没有非平凡的算法与$O(η) + \varepsilon$的保证是已知的，即使是较弱的噪声模型。此外，我们的算法是正确的，返回一个假设，这本身就是一个决策树，以前没有这样的算法是已知的，即使在无噪声设置。
2021-05-08 cs.DS cs.LG stat.ML
dtControl: Decision Tree Learning Algorithms for Controller Representation
Technical University of Munich（慕尼黑工业大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Ludwig Maximilian University of Munich（慕尼黑大学）
决策树学习是机器学习应用中最常用的流行分类技术。最近的工作表明，决策树可以用来表示证明正确的控制器简洁。与使用查找表或二元决策图的表示相比，决策树更小，更易于解释。我们提出dtControl，一个易于扩展的工具，用于表示无记忆控制器作为决策树。我们给出了一个综合评价的各种决策树学习算法适用于10个案例研究所产生的正确的建设控制器合成。这些算法包括两个新的技术，一个是使用任意线性二进制分类器的决策树学习，和一个新的方法来确定控制器在决策树建设。特别是后者被证明是非常有效的，产生决策树与一位数的决策节点的5个案例研究。
2020-02-12 cs.AI cs.LG cs.SY
Multiple decision trees
University of Sydney（悉尼大学）
本文介绍了实验，在两个领域，调查的影响，平均多个决策树的预测，而不是使用一个单一的树。其他作者指出了倾向于多树方法的理论和常识原因。理想情况下，我们会考虑所有树的预测，并根据它们的概率进行加权。然而，存在大量不同的树，很难估计每棵树的概率。我们避开了估计问题，使用修改版本的ID 3算法来构建良好的树，并平均只在这些树。我们的成果令人鼓舞。对于每个域，我们设法产生少量的好树。我们发现，最好是在具有不同结构的树的集合之间取平均值;这通常比任何组成树（包括ID 3树）提供更好的性能。
2013-03-27 cs.AI cs.LG stat.ML
Contextual Care Protocol using Neural Networks and Decision Trees
International Institute of Information Technology（国际信息技术学院）
背景护理协议由医疗从业者用于患者保健，给定指定患者所处的背景或情况。本文提出了一种建立自动化自适应协议的方法，该协议可以帮助做出相关的早期决策，以实现有效的医疗服务。混合模型利用神经网络和决策树。神经网络估计每种疾病的机会，并且决策树中的每棵树表示疾病的护理协议。如果诊断医生发现异常，这些树会发生变化。这些修正或预测错误被聚类到类似的组中，以便于专家进行可扩展性和审查。专家建议的修正已纳入模型。
2018-11-15 cs.CY cs.LG stat.ML
bsnsing: A decision tree induction method based on recursive optimal boolean rule composition
Wayne State University（韦恩州立大学）
本文提出了一种新的混合整数规划（MIP）制定优化分裂规则选择的决策树归纳过程中，并开发了一种有效的搜索算法，能够解决实际情况下的MIP模型比商业求解器更快。该公式是新颖的，它直接最大限度地减少基尼系数，一个有效的分裂选择标准，从来没有在一个数学规划建模的非凸性。该方法与其他最优分类树模型的不同之处在于，它不试图优化整个树，因此保留了递归划分方案的灵活性，并且优化模型更容易接受。该方法在一个名为bsnsing的开源R包中实现。在75个开放数据集上的基准测试表明，与R中的rpart、C50、party和tree等其他决策树代码训练的树相比，bsnsing树最有能力区分新的情况。与其他最优决策树包相比，包括DL8.5，OSDT，GOSDT和间接更多，bsnsing在其训练速度，易用性和更广泛的适用性方面脱颖而出，而不会损失预测精度。
2022-05-30 cs.LG cs.MS stat.ML
Exploring Loss Design Techniques For Decision Tree Robustness To Label Noise
Auton Lab, Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所Auton实验室）
本研究探讨深度学习损失设计思想能否提升决策树对标签噪声的鲁棒性，发现标准方法无效，需探索新方向。
2024-05-27 cs.AI cs.LG stat.ML
Decision tree heuristics can fail, even in the smoothed setting
Stanford（斯坦福大学）；MIT（麻省理工学院）
贪婪决策树学习算法是机器学习实践的支柱，但其经验成功的理论依据仍然难以捉摸。事实上，人们早就知道，有一些简单的目标功能，他们失败严重（卡恩斯和曼苏尔，STOC 1996）。Brutzkus，Daniely和Malach（COLT 2020）最近的工作认为平滑分析模型是解决这种脱节的可能途径。在平滑设置中，对于$k$ -juntas的目标$f$，他们表明这些算法成功地学习了具有深度$k$决策树假设的$f$。他们强调，对于深度$k$决策树的目标，同样的保证更普遍。我们提供了一个反例，这个猜想：我们构建的目标是深度$k$决策树，并表明，即使在平滑设置，这些算法建立树的深度$2^{Ω(k)}$之前，实现高精度。我们还表明，Brutzkus等人的保证。不能扩展到不可知的设置：有非常接近$k$ -juntas的目标，这些算法建立树的深度$2^{Ω(k)}$之前实现高精度。
2021-07-02 cs.DS cs.LG stat.ML
Optimal Generalized Decision Trees via Integer Programming
IBM Research（IBM研究院）；Lehigh University（理海大学）；Argonne National Laboratory（阿贡国家实验室）；Cornell University（康奈尔大学）
决策树由于其可解释性和在分类特征上的良好性能，几十年来一直是一类非常流行的预测模型。然而，它们并不总是鲁棒的，并且倾向于过拟合数据。此外，如果允许它们变大，它们就失去了可解释性。在本文中，我们提出了一个混合整数规划公式，以构建最佳的决策树的预先指定的大小。我们考虑到分类特征的特殊结构，并允许在每个节点上进行组合决策（基于特征值的子集）。我们的方法也可以通过阈值处理数值特征。我们表明，可以实现非常好的精度与小树使用中等大小的训练集。我们解决的优化问题是易于处理的现代求解器。
2019-08-13 cs.LG math.OC stat.ML
Enhance Learning Efficiency of Oblique Decision Tree via Feature Concatenation
College of Computer Science and Software Engineering, Hohai University（河海大学计算机与软件学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence and Information Technology, Nanjing University of Chinese Medicine（南京中医药大学人工智能与信息技术学院）
提出FC-ODT方法，通过特征拼接实现模型内特征转换以传递线性投影，解决了斜决策树参数浪费问题，在有限树深度下泛化性能优于现有决策树。
2025-02-01 cs.AI cs.LG stat.ML
Handling Missing Data in Decision Trees: A Probabilistic Approach
University of California Los Angeles（加利福尼亚大学洛杉矶分校）
决策树是一个流行的家庭模型，由于其有吸引力的属性，如解释性和处理异构数据的能力。同时，缺失数据是阻碍机器学习模型性能的普遍现象。因此，处理决策树中的缺失数据是一个很好的研究问题。在本文中，我们解决这个问题，采取概率的方法。在部署时，我们使用易处理的密度估计器来计算模型的“预期预测”。在学习时，我们通过最小化它们的“预期预测损失”w.r.t.来微调已经学习的树的参数。我们的密度估计器。我们提供了简短的实验，展示了我们的方法相比，几个基线的有效性。
2020-06-29 cs.AI cs.LG stat.ML
Adaptively Pruning Features for Boosted Decision Trees
Northeastern University（东北大学）
提升决策树在各种应用中很受欢迎;然而，对于大规模数据集，在每轮中训练决策树的成本可能非常昂贵。受多臂强盗文献的启发，我们开发了一种高效的算法来计算精确的贪婪最优决策树，性能优于最先进的Quick Boost方法。我们进一步开发了一个框架，用于导出适用于广泛的家庭的任务（包括我们的算法和快速升压）的算法的问题的下限，我们证明经验上的各种数据集，我们的算法是接近最佳的算法在这个家庭。我们还推导出一个适用于任何算法解决任务的下限，我们证明了我们的算法凭经验达到接近这个最佳可实现的下限的性能。
2018-05-19 cs.AI cs.LG stat.ML
Improving Stability in Decision Tree Models
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
本文针对决策树模型的不稳定性问题，提出新的距离度量与稳定训练方法，在医疗保健案例中实现以4.6%的预测能力下降换取38%的稳定性提升。
2023-05-26 cs.AI cs.LG math.OC
Information gain ratio correction: Improving prediction with more balanced decision tree splits
决策树算法在树的归纳过程中使用增益函数来选择最佳分裂。该函数对于获得具有高预测精度的树至关重要。一些增益函数在比较不同角度的分割时可能会出现偏差。Quinlan在C4.5的信息增益函数中提出了一个增益比来修正这种偏差。在本文中，我们提出了一个更新版本的增益比，表现更好，因为它试图修复增益比的偏见不平衡的树和一些分裂低预测的兴趣。
2018-01-25 stat.ML
Modelling hetegeneous treatment effects by quantitle local polynomial decision tree and forest
为了进一步发展异质处理效应的统计推断问题，本文建立在Breiman（2001）的随机森林树（RFT）和Wager等人。的（2018年）因果树使用经典OLS的优秀统计特性和基于协变量分位数点的局部线性区间划分来参数化非参数问题，同时保留具有可构造置信区间和渐近正态性优点的随机森林树[Athey和Imbens（2016年），Efron（2014年），Wager等人。（2014）\citep{wager2014asymptotic} ]中，我们提出了一种使用根据固定规则的分位数分类与局部样本的多项式估计相结合的决策树，我们称之为分位数局部线性因果树（QLPRT）和森林（QLPRF）。
2022-03-13 econ.EM stat.ML
