Tree in Tree: from Decision Trees to Decision Graphs
EPFL(洛桑联邦理工学院);Cornell University(康奈尔大学)
决策树由于其轻量级和可解释的决策过程而被广泛用作许多机器学习应用中的分类器。本文介绍了树中树决策图(TnT),一个框架,扩展了传统的决策树更一般和强大的有向无环图。TnT通过在内部或叶节点内递归地生长决策树来构建决策图,而不是贪婪训练。TnT的时间复杂度与图中的节点数呈线性关系,可以在大数据集上构造决策图。与决策树相比,我们表明,TnT实现了更好的分类性能,减少了模型大小,无论是作为一个独立的分类器,并作为一个基本的估计装袋/AdaBoost集成。我们提出的模型是一种新的,更有效的,和准确的替代广泛使用的决策树。
2021-10-29 cs.LG
GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达)
高斯过程(GP)是一种非参数的、灵活的模型,在许多任务中都能很好地工作。通过深度内核学习(DKL)将GP与深度学习方法相结合尤其引人注目,因为网络具有强大的代表性。然而,在GP中的推断,无论是否具有DKL,在大型数据集上都可能具有计算挑战性。在这里,我们提出了GP树,一种新的方法,多类分类高斯过程和DKL。我们开发了一个基于树的层次模型,其中树的每个内部节点适合一个GP的数据使用Pólya伽马增强计划。因此,我们的方法可以很好地扩展类的数量和数据大小。我们证明了我们的方法对其他高斯过程训练基线的有效性,我们展示了我们的通用GP方法如何在标准增量少样本学习基准测试中实现更高的准确性。
2021-07-13 cs.LG
Learning a Decision Tree Algorithm with Transformers
UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文提出基于Transformer的模型MetaTree,通过元学习直接生成决策树,使其能自适应模拟贪心和全局优化算法,从而解决传统局部划分难以实现全局泛化的问题,显著提升泛化性能。
2024-08-23 cs.AI cs.CL cs.LG
Collapsing the Decision Tree: the Concurrent Data Predictor
通过消除属性顺序求值的限制,从决策树分类器中导出了一类并发数据预测器。通过并发地评估属性,决策树折叠成扁平结构。实验结果表明,该方法提高了预测精度。
2021-08-09 cs.LG
An Algorithmic Framework for Constructing Multiple Decision Trees by Evaluating Their Combination Performance Throughout the Construction Process
提出一种同时构造并全程评估组合性能的决策树构建框架,通过迭代候选生成与择优,优于传统装袋和提升方法。
2024-02-09 cs.LG
Interfering Paths in Decision Trees: A Note on Deodata Predictors
提出了一种提高决策树预测精度的技术。它包括在多个路径上并行评估树的分支。该技术使预测与deodata算法的最近邻域变体生成的预测更加一致。该技术还使杂交的决策树算法与最近的邻域变量。
2022-02-24 cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习中神经网络策略缺乏可解释性的问题,提出决策树策略优化(DTPO)算法,利用策略梯度直接优化完整决策树,实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Backtrack Tie-Breaking for Decision Trees: A Note on Deodata Predictors
提出了一种在决策树中选择预测类或结果的平局打破方法。该方法是用于deodata预测器的类似技术的适应。
2022-02-09 cs.LG
QUBO Decision Tree: Annealing Machine Extends Decision Tree Splitting
Hitachi Ltd.(日立有限公司)
本文提出了一种基于二次无约束二元优化(QUBO)的回归树扩展方法。回归树是非常流行的预测模型,可以用表格数据集进行训练,但由于决策规则过于简单,因此其准确性不足。该方法将决策树中的决策规则扩展到多维边界。由于计算限制,这种扩展通常无法实现,然而,所提出的方法将训练过程转换为QUBO,这使得退火机能够解决这个问题。
2023-03-17 cs.LG physics.data-an
A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下,并比较三种类型的提升算法:概率Adaboost,决策树,树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称,这是我们的贡献之一。我们的另一个贡献是算法的理论分析,其中我们给出了训练误差界。这一分析表明,俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
Batched Lazy Decision Trees
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机学院)
我们介绍了一个批处理懒惰算法的监督分类使用决策树。它避免了不必要的访问不相关的节点时,它是用来进行预测,无论是热切或懒惰训练决策树。实验结果表明,该算法在计算时间和内存消耗方面均优于传统的和惰性的决策树算法,且不影响算法的准确性.
2016-03-08 cs.LG
Yet Another Representation of Binary Decision Trees: A Mathematical Demonstration
本文提出一种基于位向量矩阵的决策树数值表示,将逻辑与运算转为算术运算,实现遍历,并统一扩展多种决策树。
2024-11-06 cs.LG
Succinct Explanations With Cascading Decision Trees
Yale University(耶鲁大学);Barnard College(巴纳德学院)
决策树是20世纪80年代以来最流行和最经典的机器学习模型之一。然而,在许多实际应用中,决策树往往会生成深度过大的决策路径。长的决策路径通常会导致过拟合问题,并使模型难以解释。由于决策路径较长,当数据包含缺失值时,推理也更有可能失败。在这项工作中,我们提出了一个新的树模型称为级联决策树,以减轻这个问题。级联决策树的核心思想是将决策路径和解释路径分开,实验结果表明,级联决策树生成的解释路径平均缩短了63.38%,避免了过拟合,从而获得了更高的测试精度。我们还实证表明,级联决策树的优势,对缺失值的鲁棒性。
2022-11-29 cs.AI cs.LG
Proper decision trees: An axiomatic framework for solving optimal decision tree problems with arbitrary splitting rules
Peking University(北京大学);University of Birmingham(伯明翰大学)
本文提出公理化框架分析决策树算法,聚焦Proper决策树,证明其可唯一刻画为K-排列,并开发通用动态规划方法精确求解最优决策树问题,同时澄清记忆化空间复杂度的矛盾,并扩展至多种非Proper决策树。
2025-10-23 cs.DS cs.LG
Divide, Conquer, Combine Bayesian Decision Tree Sampling
本文提出DCC-Tree方法,通过将每个树结构与唯一决策参数关联,解决了贝叶斯决策树采样中结构与参数耦合难题,提升了采样效率与一致性。
2024-03-26 cs.LG
Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees
本研究提出一种基于提升的序列元树集成构建方法,旨在解决决策树过拟合问题,并通过实验证明其优于传统决策树集成。
2024-02-09 cs.LG stat.ML
Genetic Adversarial Training of Decision Trees
University of Padova(帕多瓦大学)
我们提出了一种新的学习方法集成的决策树的遗传算法的基础上,它是能够训练的决策树,以最大限度地提高其准确性和鲁棒性对抗扰动。这种学习算法内部利用了一个完整的形式化验证技术的鲁棒性的决策树的基础上抽象的解释,一个众所周知的静态程序分析技术。我们在一个名为Meta-Silencer(MS)的工具中实现了这种遗传对抗训练算法,并在对抗训练中使用的一些参考数据集上进行了实验评估。实验结果表明,MS是能够训练强大的模型,竞争,并经常改善目前的最先进的对抗训练的决策树,而更紧凑,因此可解释和有效的树模型。
2020-12-21 cs.LG
Decision Machines: Congruent Decision Trees
针对决策树缺乏参数化表示易过拟合的问题,提出Decision Machines,将布尔测试嵌入二值向量空间并以矩阵表示树结构,实现矩阵计算的交错遍历,同时探讨其与注意力机制的同构性以优化预测能力。
2024-11-16 cs.LG math.OC stat.ML
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案,基于强化学习的决策树(RLDT),它使用强化学习(RL)主动检查数据点的最小数量的特征,以高精度对其进行分类。此外,RLDT优化了长期回报,提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明,这种方法执行以及批处理学习算法和其他在线决策树学习算法,同时使显着更少的查询的数据点的功能。我们还表明,RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
Simple is better: Making Decision Trees faster using random sampling
AI Labs, American Express(美国运通AI实验室)
近年来,梯度提升的决策树在大数据上构建鲁棒的机器学习模型中变得流行。使这些算法成功的主要技术是在构建决策树的同时分布计算。分布式决策树的构建,反过来,已经通过构建大数据集的分位数和从这些分位数集中选择候选分裂点来实现。例如,在XGBoost中,采用复杂的分位数构建算法来识别决策树的候选分裂点。当计算是分布式的时,这种方法通常会产生更好的结果。在本文中,我们消除的概念,这些方法提供了更准确和可扩展的方法,以分布式的方式建立决策树。在一个显着的贡献,我们从理论上和经验表明,随机选择均匀的分裂点提供了相同的,甚至更好的性能方面的准确性和计算效率。因此,与更复杂的方法相比,点的简单随机选择足以用于决策树构建。
2021-08-19 cs.LG
Geometric Decision Tree
本文提出了一种学习斜决策树的新算法。目前的大多数决策树算法依赖于杂质措施,以评估在每个节点的超平面的优良性,同时学习决策树在自顶向下的方式。这些杂质测量不能正确地捕获数据中的几何结构。受此启发,我们的算法使用一种策略来评估超平面,以这样一种方式,即考虑到数据中的几何结构。在决策树的每个节点上,我们找到两个类的聚类超平面,并在该节点上使用它们的角平分线作为分割规则。我们通过实证研究表明,这种想法导致小决策树和更好的性能。我们还提出了一些分析表明,角平分线的聚类超平面,我们使用的分裂规则在每个节点上,是一个有趣的优化问题的解决方案,因此认为这是一个原则性的学习方法的决策树。
2012-10-13 cs.LG
CDT: Cascading Decision Trees for Explainable Reinforcement Learning
Borealis AI(极光人工智能研究院)
深度强化学习(Deep Reinforcement Learning,DRL)最近在各个领域取得了重大进展。然而,由于几个因素,解释RL代理的策略仍然是一个悬而未决的问题,其中之一是解释神经网络决策的复杂性。最近,一组作品已经使用基于决策树的模型来学习可解释的策略。软决策树(SDTs)和离散可微决策树(DDTs)已被证明可以实现良好的性能,并分享具有可解释的政策的好处。在这项工作中,我们进一步提高了基于树的可解释强化学习的性能和可解释性的结果。我们的建议,级联决策树(CDTs)的决策路径上应用表示学习,以允许更丰富的表达。实证结果表明,在这两种情况下,当CDTs被用作政策函数逼近器或模仿学习器来解释黑箱政策,CDTs可以实现更好的性能与更简洁和可解释的模型比SDTs。作为第二个贡献,我们的研究揭示了通过基于树的可解释模型的模仿学习来解释黑盒策略的局限性,这是由于其固有的不稳定性。
2021-03-30 cs.LG
Decision Stream: Cultivating Deep Decision Trees
Russian Research Center of Huawei Technologies(华为技术俄罗斯研究中心);ETH Zurich(苏黎世联邦理工学院)
决策树的各种修改由于其高效率和可解释性在过去的几年中得到了广泛的应用。基于相关特征选择的决策树节点划分是决策树学习的关键步骤,同时也是其主要缺点:递归节点划分导致叶节点数据量几何减少,导致模型复杂度过高和数据过拟合。在本文中,我们提出了一种新的架构-决策流,-旨在克服这个问题。在学习过程中,我们提出了合并节点从不同的分支,而不是建立一个树结构的基础上,他们的相似性,估计与两个样本的测试统计,这导致生成的决策规则,可以包括数百个级别的深度有向无环图。为了评估所提出的解决方案,我们在几个常见的机器学习问题上进行了测试-信用评分,twitter情感分析,飞机飞行控制,MNIST和CIFAR图像分类,合成数据分类和回归。我们的实验结果表明,所提出的方法在回归和分类任务上都显着优于标准的决策树学习方法,预测误差降低高达35%。
2017-09-03 cs.LG
The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of Decision Trees
University of California, Berkeley(加州大学伯克利分校)
决策树是一种广泛使用的分类方法,无论是其本身还是作为多种不同集成学习方法的构建块。最大切割决策树涉及到一个标准的新的修改,分类决策树建设的基线模型,准确地说,CART基尼。一种修改涉及另一种分裂度量,最大切割,基于最大化属于不同类别和阈值的不同侧的所有观测对之间的距离。另一个修改是从使用主成分分析(PCA)在每个节点本地构造的输入特征的线性组合中选择决策特征。我们的实验表明,这种基于节点的局部PCA与新的分裂修改可以显着提高分类,同时也显着减少计算时间相比,基线决策树。此外,我们的结果是最显着的数据集进行评估时,具有更高的维度,或更多的类;其中,例如数据集CIFAR-100,使49%的准确性提高,同时减少94%的CPU时间。这些引入的修改大大提高了决策树的能力,难以分类的任务。
2020-06-25 cs.LG stat.ML
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim(曼海姆大学);Boehringer Ingelheim(勃林格殷格翰)
本文提出 ReMeDe Trees,一种带内部记忆机制的循环决策树架构,通过梯度下降学习硬性轴对齐决策规则,以解决传统决策树难以直接捕获序列数据中长期依赖的问题,并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Efficient algorithms for decision tree cross-validation
交叉验证是机器学习中经常采用的有用且普遍适用的技术,包括决策树归纳。直接实现该技术的一个重要缺点是其计算开销。在本文中,我们表明,对于决策树,交叉验证的计算开销可以显着降低集成的交叉验证与正常的决策树归纳过程。我们将讨论如何现有的决策树算法可以适应这一目标,并提供这些适应可能产生的加速比的分析。实验结果支持了分析。
2001-10-17 cs.LG
Leveraging Predictive Equivalence in Decision Trees
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出一种无预测等价性的决策树布尔逻辑表示,忠实于决策边界,用于改善模型选择、鲁棒性分析、变量重要性量化及预测成本优化。
2025-10-13 cs.LG
Decision Concept Lattice vs. Decision Trees and Random Forests
National Research University Higher School of Economics(国立研究型高等经济学院)
决策树及其集成是有监督机器学习中非常流行的模型。在本文中,我们合并的思想潜在的决策树,他们的合奏和FCA提出了一个新的监督机器学习模型,可以在多项式时间,适用于分类和回归问题。具体来说,我们首先提出了一个多项式时间的算法来构建的概念格的一部分,是基于决策树。其次,我们描述了一种基于概念格的预测方案,用于解决分类和回归任务,其预测质量可与最先进的模型相媲美。
2021-06-01 cs.LG
Extremely Fast Decision Tree
Monash University(莫纳什大学)
我们介绍了一种新的增量决策树学习算法,Hoeffding任意时间树,这是统计上更有效的比目前的国家的最先进的,Hoeffding树。我们证明了Hoeffding Anytime Tree的实现-“极快决策树“,对Hoeffding Tree的MOA实现的微小修改-在UCI存储库中最大的分类数据集上获得了显着优越的prequential准确性。Hoeffding Anytime Tree在极限下产生渐近批处理树,对概念漂移具有自然弹性,并且在大多数情况下可以用作Hoeffding Tree的更高精度替代品,只需少量额外的计算成本。
2018-02-24 cs.LG stat.ML
Curriculum Learning for Few-Shot Domain Adaptation in CT-based Airway Tree Segmentation
针对CT气道分割的跨队列泛化问题,提出将课程学习集成到分割网络,按复杂度分批训练,在少样本域自适应中于ATM22和AIIB23队列取得高性能,并指出不当评分或排序的潜在风险。
2024-11-08 cs.CV cs.LG
Extracting useful rules through improved decision tree induction using information entropy
分类是数据采掘领域中广泛使用的一种技术,而可扩展性和效率是大型数据库分类算法中亟待解决的问题。我们建议改进现有的C4.5决策树算法。本文将面向属性的归纳(AOI)和相关性分析与概念层次知识和HeightBalancePriority算法相结合,构造决策树并进行多层次挖掘。属性优先级的分配是通过评估不同抽象级别的信息熵来完成的,以便使用HeightBalancePriority算法构建决策树。使用改进的DMQL查询来理解和探索C4. 5分类器生成的决策树在教育数据集上的不足,并将结果与所提出的方法进行比较。
2013-02-11 cs.LG
Fairness-guided SMT-based Rectification of Decision Trees and Random Forests
National University of Singapore(新加坡国立大学);University of British Columbia(不列颠哥伦比亚大学);University College London(伦敦大学学院)
随着各种机器学习模型的流行,数据驱动的决策制定越来越突出。不幸的是,机器学习训练中使用的真实数据可能会捕捉到人类的偏见,因此学习的模型可能会导致不公平的决策。在本文中,我们提供了一个解决这个问题的决策树和随机森林。我们的方法将任何决策树或随机森林转换成一个公平的一个关于一个特定的数据集,公平性标准,和敏感属性。基于我们的方法构建的\emph{FairRepair}工具受到传统程序的自动程序修复技术的启发。它使用SMT求解器来决定决策树中的哪些路径可以翻转其结果,以提高模型的公平性。我们在加州大学欧文分校著名的成人数据集上的实验表明,FairRepair可以扩展到现实的决策树和随机森林。此外,FairRepair还提供了关于查找修复的可靠性和完整性的正式保证。由于我们的公平指导修复技术修复从给定的(不公平的)数据集获得的决策树和随机森林,它可以帮助识别和纠正组织决策中的偏见。
2020-11-22 cs.LG
STEP-EZ: Syntax Tree guided semantic ExPlanation for Explainable Zero-shot modeling of clinical depression symptoms from text
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (AMII)(阿尔伯塔机器智能研究所)
我们专注于探索零射击学习(Zero-Shot Learning,简称ZRL)的各种方法,以及它们对一个具有挑战性但又重要的监督学习任务的可解释性,该任务因训练数据稀缺而臭名昭著,即从文本中进行抑郁症状检测(Depression Symptoms Detection,简称DSD)。我们首先全面综合了我们的EML建模的不同组成部分,并在执业临床医生的帮助下分析了我们的地面真实样本和抑郁症状线索的治疗过程。接下来,我们将分析各种最先进的ARML模型的准确性及其对我们任务的潜在增强。此外,我们勾勒出一个框架,使用的层次化的基于文本的解释机制,我们称之为,语义树引导的语义解释(STEP)。最后,我们总结了实验,从中我们得出结论,我们可以使用CNOL模型,并实现合理的准确性和可解释性,衡量一个建议的可解释性指数(EI)。这项工作是,据我们所知,第一次工作,详尽地探讨的有效性,DSDtask,无论是在准确性和可解释性方面的CNOL模型。
2021-06-23 cs.AI cs.CL cs.IR
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University(斯坦福大学)
本文提出MAPTree算法,通过贝叶斯最大后验推断和AND/OR搜索构建决策树,在16个真实数据集上优于或媲美基线且树更小,在合成数据上更鲁棒,并能提供最优性证书。
2023-12-20 cs.AI cs.LG
Mixture of Decision Trees for Interpretable Machine Learning
University of Münster(明斯特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA);Dresden University of Technology(德累斯顿工业大学);University of Stuttgart(斯图加特大学)
本文介绍了一种新的可解释的机器学习方法--混合决策树(MoDT)。它构成了混合专家模型集成体系结构的一个特殊情况,它利用线性模型作为门函数和决策树作为专家。我们提出的方法是理想的适合于问题,不能令人满意地学习由一个单一的决策树,但可以分为子问题。每个子问题都可以从单个决策树中很好地学习。因此,MoDT可以被认为是一种提高性能的方法,同时通过使每个决策都可以被人类理解和追踪来保持可解释性。我们的工作是伴随着一个Python的实现,它使用了一个可解释的门控功能,一个快速的学习算法,和一个直接的接口微调可解释的可视化方法。实验证实,实施工作,更重要的是,显示我们的方法相比,单一的决策树和随机森林类似的复杂性的优越性。
2022-11-26 cs.LG
Explainable few-shot learning workflow for detecting invasive and exotic tree species
University of Twente(特文特大学);Netherlands eScience Center(荷兰电子科学中心)
本研究针对深度学习依赖大量标注数据且小样本学习结果缺乏解释的问题,提出结合孪生网络与可解释AI的工作流,利用无人机图像检测巴西大西洋森林入侵外来树种,在3-shot设置下F1达0.86,为森林管理和生物多样性保护提供新方案。
2024-11-01 cs.LG
On Learning and Testing Decision Tree
Technion(以色列理工学院);Guangdong Technion Israel Institute of Technology (GTIIT)(广东以色列理工学院)
在本文中,我们研究学习和测试的决策树的大小和深度,显着小于$n$的属性数。我们的主要结果解决问题的聚$(n,1/ε)$时间算法与聚$(s,1/ε)$查询复杂性(独立的$n$),区分功能,是决策树的大小$s$从功能$ε$ -远离任何决策树的大小$ϕ(s,1/ε)$,对于一些功能$ϕ> s$。最著名的结果是最近由Blank,Lange和Tan得出的~ \cite{BlancLT20},它给出了$ϕ(s,1/ε)=2^{O((\log^3s)/ε^3)}$。本文给出了一种实现$ϕ(s,1/ε)=2^{O(\log^2 (s/ε))}$的新算法。此外,我们还研究了深度$d$决策树的可测试性,并给出了一个{ \it distribution free}测试器,该测试器可以区分深度$d$决策树和$ε$ -far from depth $d^2$决策树.特别地,对于大小为$s$的决策树,当树深度为$O(\log(s/ε))$时,上述结果在无分布模型中成立。我们还给出了其他新的结果,学习和测试的大小- $s$决策树和深度- $d$决策树,遵循文献中的结果和一些结果,我们证明了本文。
2021-08-10 cs.DS cs.LG
Multiple Instance Learning with Trainable Decision Tree Ensembles
Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
提出了一种新的基于随机森林的小数据量多实例学习模型--软树枚举多实例学习模型(SoftTreeEnseminationMIL,STE-MIL)。本文提出了一种新的软决策树,它类似于著名的软斜树,但具有较少的可训练参数。为了训练树,建议将它们转换为特定形式的神经网络,该网络逼近树函数。还提出了通过使用注意力机制来聚合实例和包嵌入(输出向量)。整个STE-MIL模型,包括软决策树,神经网络,注意力机制和分类器,在一个端到端的方式进行训练。表格数据集的数值实验说明了STE-MIL。实现该模型的相应代码是公开的。
2023-02-13 cs.LG
Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data
Yandex;HSE University(俄罗斯高等经济大学)
本文提出利用具备推理能力的LLM诱导小规模表格数据的决策树,生成轻量级树结构,优于CART和非贪心树学习器,并在低资源表格问题中与树集成竞争。
2026-05-15 cs.LG
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK(计算与工程学院贝德福德郡大学,卢顿,英国)
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树,建立了理性承诺阈值的完整非渐近理论,回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Breiman meets Bellman: Non-Greedy Decision Trees with MDPs
UMR 9189 - CRIStAL Université de Lille CNRS, Inria, Centrale Lille(UMR 9189 - CRIStAL 威廉王大学 CNRS、Inria、Centrale Lille)
本文提出动态规划决策树(DPDT)框架,通过马尔可夫决策过程与启发式分裂生成构建近最优决策树,在显著降低计算复杂度的同时实现优于 CART 和最优决策树的泛化性能。
2025-06-01 cs.LG
Optimization of Decision Tree Evaluation Using SIMD Instructions
决策森林(决策树集成)是最流行的机器学习算法之一。为了在大数据上使用大型模型,例如使用学习排名模型的文档评分,我们需要有效地评估这些模型。在本文中,我们探讨了流行的CatBoost库的祖先MatrixNet。这两个库都使用SSE指令集对CPU进行评分。本文研究了AVX指令集提供的更有效地评估模型的机会。我们在二进制化阶段(节点条件比较)实现了35%的加速,在排名模型的树应用阶段实现了20%的加速。
2022-05-15 cs.LG
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia(弗吉尼亚大学);Amazon(亚马逊公司)
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题,提出带检索增强的分层提示方法,通过全局与自适应两层软令牌实现动态引导,在7项基准任务上优于所有基线。
2024-12-13 cs.LG
A Communication-Efficient Parallel Algorithm for Decision Tree
Peking University(北京大学);Microsoft Research(微软研究院);Chinese Academy of Mathematics and Systems Science(中国科学院数学与系统科学研究院)
决策树(及其扩展,如梯度提升决策树和随机森林)是一种广泛使用的机器学习算法,由于其实际有效性和模型可解释性。随着大数据的出现,越来越需要并行化决策树的训练过程。然而,沿着这条线的大多数现有尝试遭受高通信成本。在本文中,我们提出了一种新的算法,称为\emph{Parallel Voting Decision Tree (PV-Tree)},以解决这一挑战。在将训练数据划分成多个(例如,$M$)机器,该算法在每次迭代中执行局部投票和全局投票。对于本地投票,根据每台计算机的本地数据从每台计算机中选择顶级$k$属性。然后,通过在这些局部候选中的多数投票来确定全局最佳$2k$属性。最后,从本地机器收集全局顶级$2k$属性的全粒度直方图,以识别最佳(信息量最大)属性及其分割点。PV-Tree可以实现非常低的通信成本(与属性总数无关),因此可以很好地扩展。理论分析表明,该算法能够以较大的概率找到最优的属性,从而能够学习出接近最优的决策树。我们在真实数据集上的实验表明,PV-Tree在准确性和效率之间的权衡上明显优于现有的并行决策树算法。
2016-11-04 cs.LG
FedGA-Tree: Federated Decision Tree using Genetic Algorithm
Northwestern University(西北大学)
针对联邦学习中决策树研究不足且现有方法受差分隐私限制的问题,本文提出FedGA-Tree,利用遗传算法构建支持类别型与数值型数据、分类与回归任务的个性化决策树,实验证明其优于本地训练树和基准算法。
2025-06-09 cs.LG cs.NE
DT+GNN: A Fully Explainable Graph Neural Network using Decision Trees
ETH Zurich(苏黎世联邦理工学院)
提出了完全可解释的决策树图神经网络(DT+GNN)结构。与现有的黑箱GNN和事后解释方法相比,DT+GNN的推理可以在每一步进行检查。为了实现这一点,我们首先构建了一个可微的GNN层,它使用节点和消息的分类状态空间。这允许我们将GNN中训练的MLP转换为决策树。这些树使用我们新提出的方法修剪,以确保它们很小,易于解释。我们也可以使用决策树来计算传统的解释。我们在真实世界的数据集和综合GNN可解释性基准上证明,这种架构与传统GNN一样有效。此外,我们利用DT+ GNN的可解释性来发现许多这些数据集的有趣见解,并获得了一些令人惊讶的结果。我们还提供了一个互动的网络工具来检查DT+GNN的决策。
2022-05-26 cs.LG
Gradient Boosted Decision Tree Neural Network
Netflix(奈飞)
在本文中,我们提出了一种方法来建立一个神经网络,类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后,我们放松这个网络的一些属性,如阈值和激活函数,训练一个近似等价的决策树集成。最后一个模型Hammock非常简单:一个完全连接的两层神经网络,其中输入被量化和独热编码。在大数据集和小数据集上的实验表明,这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Decision Tree Design for Classification in Crowdsourcing Systems
Syracuse University(雪城大学)
在本文中,我们提出了一种新的顺序范式分类在众包系统。考虑到工人是不可靠的,他们执行的测试与错误,我们研究了决策树的建设,以尽量减少错误分类的概率。利用决策树各级熵与误分类概率之间的关系,提出了两种决策树设计算法。此外,工人分配问题进行了研究时,工人可以被分配到不同的测试的决策树,以提供分类成本和所产生的错误性能之间的权衡。数值结果是为了说明。
2018-05-01 cs.LG stat.ML
Efficient non-greedy optimization of decision trees
University of Toronto(多伦多大学);Microsoft Research(微软研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
决策树和随机森林广泛应用于计算机视觉和机器学习。用于决策树归纳的标准算法根据某些分裂准则每次一个节点地优化分裂函数。这种贪婪的过程往往导致次优的树。在本文中,我们提出了一种算法,优化的分裂功能在各级的树联合叶参数,基于一个全局目标。我们发现,寻找最佳的线性组合(斜)分裂决策树的问题是与结构化预测的潜在变量,我们制定了一个凹凸上界树的经验损失。计算所提出的代理目标相对于每个训练样本的梯度的运行时间在树深度上是二次的,因此训练深度树是可行的。使用随机梯度下降进行优化可以实现对大型数据集的有效训练。在几个分类基准上的实验表明,所得到的非贪婪决策树优于贪婪决策树基线。
2015-11-12 cs.CV cs.LG
A Bayesian Decision Tree Algorithm
UBS(瑞银集团(UBS))
贝叶斯决策树以其概率可解释性而闻名。然而,它们的建造有时可能是昂贵的。在这篇文章中,我们提出了一个通用的贝叶斯决策树算法适用于回归和分类问题。该算法不应用马尔可夫链蒙特卡罗,不需要修剪步骤。虽然可以构造一个加权概率树空间,但我们发现一个特定的树,贪婪模态树(GMT),解释了数值示例中包含的大部分信息。这种方法似乎与随机森林类似。
2020-09-22 cs.LG stat.ML
Oblique Decision Trees from Derivatives of ReLU Networks
我们展示了如何神经模型可以用来实现分段常数函数,如决策树。所提出的架构,我们称之为局部常数网络,建立在分段线性的ReLU网络上,因此它们相对于输入的相关梯度是局部常数。我们正式建立了局部常数网络类和决策树类之间的等价关系。此外,我们强调了局部常数网络的几个有利特性,包括它们如何实现跨分支/叶子共享参数的决策树。实际上,只有$M$神经元才足以隐式地对具有$2^M$叶节点的倾斜决策树进行建模。神经表示还使我们能够采用为深度网络开发的许多工具(例如,DropConnect(Wan等人,2013)),同时隐式地训练决策树。我们证明,我们的方法优于替代技术训练斜决策树的分子属性分类和回归任务的背景下。
2020-05-03 cs.LG stat.ML
The Improvement of Decision Tree Construction Algorithm Based On Quantum Heuristic Algorithms
Kazan Federal University(喀山联邦大学)
这项工作涉及到量子模拟器上的决策树构造算法的实现。在这里,我们考虑一个基于二进制标准的算法。此外,我们还研究了量子启发式QAOA的改进能力。我们实现了这个算法的经典和量子版本来比较构建的树。
2022-12-28 cs.LG quant-ph
dtControl: Decision Tree Learning Algorithms for Controller Representation
Technical University of Munich(慕尼黑工业大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Ludwig Maximilian University of Munich(慕尼黑大学)
决策树学习是机器学习应用中最常用的流行分类技术。最近的工作表明,决策树可以用来表示证明正确的控制器简洁。与使用查找表或二元决策图的表示相比,决策树更小,更易于解释。我们提出dtControl,一个易于扩展的工具,用于表示无记忆控制器作为决策树。我们给出了一个综合评价的各种决策树学习算法适用于10个案例研究所产生的正确的建设控制器合成。这些算法包括两个新的技术,一个是使用任意线性二进制分类器的决策树学习,和一个新的方法来确定控制器在决策树建设。特别是后者被证明是非常有效的,产生决策树与一位数的决策节点的5个案例研究。
2020-02-12 cs.AI cs.LG cs.SY
One-Shot Decision-Making with and without Surrogates
The University of Adelaide(阿德莱德大学);University of Münster(明斯特大学);Sorbonne University(索邦大学);CNRS(法国国家科学研究中心)
在我们可以评估固定数量的候选解决方案,但不可能进行进一步的自适应采样的情况下,需要进行一次性决策。在神经网络设计、超参数优化和许多基于仿真的现实世界优化任务中经常会遇到这样的设置,其中评估成本高且时间稀疏。似乎直观的是,在一次性决策设置中,均匀分布的样本应该比均匀或基于网格的样本更有意义,因为它们显示了更好的决策空间覆盖率。在实践中,拉丁超立方体样本和低差异点集等准随机设计确实形成了最先进的技术,正如最近的一些研究和竞赛所证实的那样。在这项工作中,我们仔细研究了准随机设计的分布和它们在一次性决策任务中的性能之间的相关性,目的是调查是否可以确认均匀分布和性能之间的假设相关性。我们研究了三种不同的决策任务:经典的一次性优化(只有最好的样本重要),一次性优化与代理(允许使用代理模型选择设计,不一定是评估的样本之一),和一次性回归(即,函数近似,以最小化均方误差为目标)。我们的研究结果证实了所有三种设置的低差异设计的优势。然而,总体相关性相当弱。我们通过发展特定问题的样本来补充我们的研究,这些样本在回归任务中表现出比基于低差异序列的标准方法更好的性能,这强烈表明,与最先进的一次性采样技术相比,显着的性能增益是可能的。
2019-12-20 cs.LG cs.NE