Explainable Models via Compression of Tree Ensembles
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon（亚马逊）；Indiana University（印第安纳大学）；Oregon State University（俄勒冈州立大学）
关系型决策树的包围模型（Bagging和Gradient-Boosting）是概率逻辑模型（PLM）领域中最有效的学习方法之一。虽然有效，但它们失去了PLM最重要的方面之一--可解释性。在本文中，我们考虑的问题，压缩成一个单一的可解释的模型的学习树的一个大集合。为此，我们提出了CoTE -压缩树集成-产生一个单一的小决策列表作为压缩表示。CoTE首先将树转换为决策列表，然后在原始训练集的帮助下执行组合和压缩。实验评估表明，在几个基准关系数据集的CoTE的有效性。
2022-06-16 cs.LG
Multiple Instance Learning with Trainable Decision Tree Ensembles
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的基于随机森林的小数据量多实例学习模型--软树枚举多实例学习模型（SoftTreeEnseminationMIL，STE-MIL）。本文提出了一种新的软决策树，它类似于著名的软斜树，但具有较少的可训练参数。为了训练树，建议将它们转换为特定形式的神经网络，该网络逼近树函数。还提出了通过使用注意力机制来聚合实例和包嵌入（输出向量）。整个STE-MIL模型，包括软决策树，神经网络，注意力机制和分类器，在一个端到端的方式进行训练。表格数据集的数值实验说明了STE-MIL。实现该模型的相应代码是公开的。
2023-02-13 cs.LG
Faster Repeated Evasion Attacks in Tree Ensembles
KU Leuven（鲁汶大学）；Czech Technical University（捷克技术大学）
针对树集成模型对抗样本构造的计算挑战，提出利用相似问题间对抗扰动特征集的一致性来快速识别并加速重复构造对抗样本的方法。
2024-02-13 cs.LG
Interpreting Tree Ensembles with inTrees
树集成，如随机森林和提升树是准确的，但难以理解，调试和部署。在这项工作中，我们提供了inTrees（可解释树）框架，该框架从树集合中提取，测量，修剪和选择规则，并计算频繁的变量交互。一个基于规则的学习器，称为简化的树集成学习器（STEL），也可以形成和用于未来的预测。inTrees框架可以应用于分类和回归问题，并且适用于许多类型的树集合，例如，随机森林、规则化的随机森林和增强树。我们在“inTrees”R包中实现了inTrees算法。
2014-08-23 cs.LG stat.ML
PINE: Pruning Boosted Tree Ensembles with Conformal In-Distribution Prediction Equivalence
The University of Tokyo（东京大学）
提出PINE方法，通过共形校准控制分布内区域，在保持预测等价的同时将剪枝压缩比提升高达30%。
2026-05-29 cs.LG
Optimization of Oblivious Decision Tree Ensembles Evaluation for CPU
CatBoost是一个流行的机器学习库。CatBoost模型基于不经意决策树，使训练和评估变得快速。CatBoost有许多应用程序，有些需要低延迟和高吞吐量评估。本文研究了提高CatBoost在单核CPU计算中的性能的可能性。我们探索AVX指令集提供的新功能，以优化评估。我们使用AVX 2指令将性能提高了20-40%，而不会影响质量。我们还引入了速度和质量之间的新权衡。使用float 16作为叶值和AVX-512指令，我们实现了50-70%的加速。
2022-11-01 cs.LG
Register Your Forests: Decision Tree Ensemble Optimization by Explicit CPU Register Allocation
TU Dortmund（多特蒙德大学）；University of Twente（特温特大学）
针对工具链抽象导致决策树集成推理中 CPU 寄存器利用不足的问题，提出单步由高级模型直接生成汇编并显式分配寄存器的方法，最高实现约 1.6 倍加速。
2024-04-10 cs.LG
Causal Inference Based Single-branch Ensemble Trees For Uplift Modeling
Everbright Technology Co. LTD（光大科技有限公司）
在这篇手稿（MS）中，我们提出了因果推理为基础的单分支集成树隆起建模，即CIET。与预测概率建模的标准分类方法不同，CIET旨在实现由行为或治疗引起的结果预测概率的变化。根据我们的CIET，两个划分标准是专门设计的，以最大限度地提高治疗组和对照组之间的结果分布差异。接下来，一个新的单分支树是建立通过采取自顶向下的节点划分方法，和其余的样本进行审查，因为他们没有被覆盖的上层节点划分逻辑。在删失数据上重复树的构建过程，从而形成具有一组推理规则的单分支集成树。此外，实验表明，CIET优于以往的隆升模拟方法在隆升曲线下的面积（AUUC）和基尼系数显着。目前，信投贷已在国内某国家级金融控股集团应用于线上个人贷款。CIET还将有助于分析师将机器学习技术应用于更广泛的商业领域，如网络广告，医学和经济学的因果推理。
2023-02-03 cs.LG
Flexible Modeling and Multitask Learning using Differentiable Tree Ensembles
MIT（麻省理工学院）
决策树集成是一种应用广泛的竞争学习模型。尽管他们的成功，流行的学习树集成工具包有有限的建模能力。例如，这些工具包支持有限数量的损失函数，并且限于单任务学习。我们提出了一个灵活的框架学习树合奏，超越现有的工具包，以支持任意损失函数，丢失的响应，和多任务学习。我们的框架建立在可区分的（a.k.a.软）树集合，其可以使用一阶方法来训练。然而，与经典树不同，可微树很难缩放。因此，我们提出了一种新的基于张量的可微树公式，允许在GPU上进行有效的矢量化。我们在28个真正的开源和专有数据集上进行了实验，这表明我们的框架可以比流行的工具包更紧凑100倍，更具表现力的树集合。
2022-05-19 cs.LG stat.ML
GRANDE: Gradient-Based Decision Tree Ensembles for Tabular Data
University of Mannheim（曼海姆大学）；University of Rostock（罗斯托克大学）
针对表格数据缺乏专用梯度方法的问题，提出GRANDE——一种基于端到端梯度下降的硬轴对齐决策树集成方法，结合梯度优化灵活性与表格数据归纳偏置，在19个分类基准数据集上多数优于现有梯度提升和深度学习框架。
2024-03-12 cs.LG
Ensembles of Probabilistic Regression Trees
该研究提出概率回归树的集成方法，通过概率分配观测值实现目标函数的平滑近似，证明了其一致性并通过实验验证了偏差-方差特性与预测性能。
2024-06-20 cs.LG stat.ML
Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees
本研究提出一种基于提升的序列元树集成构建方法，旨在解决决策树过拟合问题，并通过实验证明其优于传统决策树集成。
2024-02-09 cs.LG stat.ML
Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable
Cornell University（康奈尔大学）
决策树的集合在许多问题上表现良好，但不可解释。在现有的方法，专注于解释功能和预测之间的关系的可解释性相比，我们提出了一种替代方法来解释树集成分类器的表面代表点为每个类-原型。我们为梯度提升树模型引入了新的距离，并提出了具有理论保证的新的自适应原型选择方法，可以灵活地在每个类中选择不同数量的原型。我们在随机森林和梯度提升树上展示了我们的方法，表明当用作最近原型分类器时，原型可以表现得与原始树集成一样好，甚至更好。在一项用户研究中，人类在使用原型时比使用Shapley值（一种流行的特征归因方法）时更善于预测树集成分类器的输出。因此，原型提出了一个可行的替代功能为基础的解释树合奏。
2020-08-25 cs.LG stat.ML
End-to-end Feature Selection Approach for Learning Skinny Trees
MIT（麻省理工学院）
提出Skinny Trees端到端树集成特征选择方法，通过分组$\ell_0$-正则化器同时训练可微树并控制特征数量，在15个数据集上实现高压缩率与加速推理，且性能优于现有工具包。
2025-04-06 cs.LG
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
在实际应用中，树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则，软树使用梯度方法来训练，其中整个分裂操作以可微形式制定。虽然近年来，这种软树的集合越来越多地被使用，但很少有理论工作来理解它们的行为。通过对无限软树系综的研究，引入并研究了树神经切线核（TNTK），为研究无限软树系综的行为提供了新的思路.使用TNTK，我们从理论上确定了几个非平凡的属性，如全局收敛的训练，不经意的树结构的等价性，和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Adversarial Example Detection in Deployed Tree Ensembles
KU Leuven（鲁汶大学）
树集合是一种被广泛使用的强大模型。然而，它们容易受到对抗性示例的影响，这些示例是故意构建的，以引起模型的错误预测。这可能会降低性能并削弱用户对模型的信任。通常，方法试图通过验证学习的集成有多鲁棒或鲁棒学习过程来缓解这个问题。我们采取了另一种方法，并试图在部署后的环境中检测对抗性的例子。我们提出了一种新的方法，这项任务的工作原理，通过分析一个看不见的例子的输出配置，这是一个合奏的组成树的预测集。我们的方法适用于任何加性树集合，并且不需要训练单独的模型。我们评估我们的方法上三个不同的树集成学习器。我们的经验表明，我们的方法是目前最好的对抗检测方法的树集成。
2022-06-27 cs.CR cs.LG
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
School of Industrial Management Engineering, Korea University（韩国大学工业管理工程学院）；School of Mechanical Engineering, Chungnam National University（Chungnam国立大学机械工程学院）
提出一种基于核Fisher判别分析的树集成方法KFDA Forest，通过Bootstrap和随机子集划分增强多样性，利用核技巧处理非线性数据，以决策树为基分类器提升准确率。
2026-06-27 cs.LG
ForestPrune: Compact Depth-Controlled Tree Ensembles
MIT（麻省理工学院）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）
ForestPrune通过优化剪除树集成中单棵树的深度层来压缩模型，其专用算法可在中等规模数据上几秒内得到高质量解，生成的简约模型性能优于现有后处理方法。
2023-05-24 cs.LG stat.ML
Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix（百迪赛）
使用Shapley值的加性特征解释已经变得流行，用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性，但即使是单个机器学习模型也可以生成Shapley值，这远远不是唯一的，理论和实现决策会影响最终的属性。在这里，我们考虑应用Shapley值解释决策树集成，并提出了一种新的方法，Shapley值为基础的特征属性，可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性，同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异，并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
基于树的集成，例如Breiman的随机森林（RF）和梯度提升树（GBT）可以被解释为隐式内核生成器，其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。最近，它已被证明，内核的解释是密切相关的其他基于树的合奏，如GBT。然而，内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成（包括RF和GBT）之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究，包括连续和二进制目标的性能和属性。我们表明，对于连续的目标，RF/GBT内核在高维场景中，特别是在具有大量噪声特征的情况下，与它们各自的合奏具有竞争力。对于二进制目标，RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果，以展示如何在实践中利用这些见解。总体而言，我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后，我们讨论了基于树集成的生存目标，可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Hoeffding adaptive splitting trees for data stream classification with concept drift and ensemble learning
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Sorbonne Université（索邦大学）
本文针对自适应分裂决策树作为集成基学习器的多样性不足问题，提出霍夫丁自适应分裂树模型，结合霍夫丁树的周期性分裂策略与自适应分裂机制，在综合评估中实现了最优的数据流分类性能。
2026-08-18 cs.AI cs.LG
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon（俄勒冈大学）
我们如何识别对树集成预测贡献最大的训练样本？在本文中，我们介绍TREX，解释系统，提供实例属性的解释树集成，如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的，我们定义了一个内核，捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核，TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明，TREX的代理模型能准确地逼近树系集，其全局重要性权重在数据集调试中比现有的方法更有效，在移除和重新训练评估框架下，其解释能更好地识别最具影响力的样本，其运行速度比其他方法快几个数量级，并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
Quantitative Verification of Fairness in Tree Ensembles
University of Electro-Communications（电通大学）
本研究提出了一种高效方法，用于树集成中公平性的定量验证，通过提供任意时间的上界和下界，有效提升了公平性测试的性能。
2025-12-18 cs.LG
Linear Mode Connectivity in Differentiable Tree Ensembles
National Institute of Informatics（信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（高等研究生院（SOKENDAI））
本文研究可微软树集成的线性模式连通性，揭示树排列、子树翻转与分裂顺序不变性的作用，并提出基于决策列表的架构以消除额外不变性同时保持LMC。
2025-02-14 cs.LG
Pitfalls of Unlabeled Disagreement-Based Drift Detection in Streaming Tree Ensembles
GECAD, ISEP, Polytechnic of Porto（GECAD，ISEP，波尔图理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究探讨了在高速数据流中使用未标记数据进行漂移检测的挑战，发现基于不一致的不确定性方法在集成增量决策树中表现欠佳，归因于IDTs的固有刚性。
2026-05-12 cs.LG
A Framework for an Assessment of the Kernel-target Alignment in Tree Ensemble Kernel Learning
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
从树集成（如随机森林（RF）或梯度提升树（GBT））产生的内核，当用于内核学习时，已被证明与其各自的树集成（特别是在高维场景中）具有竞争力。另一方面，它也已被证明，核算法的性能取决于核目标对准的程度。然而，基于树集成的核学习的核目标对齐尚未被研究，填补这一空白是我们工作的主要目标。使用核矩阵的特征分析，我们证明了对于连续目标，基于树的核学习的良好性能与强的核目标对齐相关。此外，我们表明，表现良好的树集成基于内核的特点是通过核矩阵和目标的特征向量之间的标量积表示的强目标对齐组件。这表明，当基于树集成的核学习成功时，监督问题的相关信息集中在目标对齐组件所跨越的低维流形附近。基于树集成的核中的强目标对准分量的持久性进一步通过经由地标学习的敏感性分析来支持。除了一个全面的模拟研究，我们还提供了实验结果，从几个现实生活中的数据集，符合模拟。
2021-08-19 cs.LG stat.ML
ODTE -- An ensemble of multi-class SVM-based oblique decision trees
提出以 STree 斜决策树为基分类器、在节点中利用多类 SVM 划分超平面的 ODTE 集成，并在 49 个数据集上验证其性能与模型紧凑性优势。
2025-03-16 cs.LG
RO-FIGS: Efficient and Expressive Tree-Based Ensembles for Tabular Data
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）；U.S. Army Medical Research and Development Command（美国陆军医疗研究与开发指挥部）
RO-FIGS通过引入基于随机特征子集线性组合的斜向划分扩展FIGS，在22个表格数据集上以更小模型实现优于树和神经网络方法的性能，并增强特征交互可解释性。
2025-04-09 cs.LG
PACSET (Packed Serialized Trees): Reducing Inference Latency for Tree Ensemble Deployment
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；United States Military Academy（美国军事学院）
我们提出的方法来序列化和序列化树集成，优化推理延迟时，模型还没有加载到内存中。当模型大于内存时，就会出现这种情况，但当模型部署在低资源设备上时，例如在物联网中，或者作为Web微服务运行时，资源按需分配时，也会出现这种情况。我们的包装序列化树（PACSET）编码的参考局部性的布局中的树集成使用的原则，从外部存储器的算法。该布局在多棵树上交错相关节点，使用叶基数来配置最流行路径上的节点，并针对I/O块大小进行了优化。其结果是，每个I/O产生更高比例的有用数据，从而使交互式工作负载的分类延迟减少2-6倍。
2020-11-10 cs.DC cs.LG
Learning Auditable Classifier Models: Source-Disjoint Tree Ensembles
Indian Institute of Management Ahmedabad（印度管理研究所艾哈迈达巴德分校）
提出残差模式树集成（RPTE）三阶段学习方法，实现可审计性，在12个临床二分类基准上性能与对比模型相当，且审计复杂度显著低于XGBoost、EBM。
2026-08-18 cs.LG
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
软树是决策树的一种正在研究的变体，它使用梯度方法更新分裂规则。虽然软树可以采用各种架构，但它们的影响在理论上并不为人所知。在本文中，我们制定和分析的神经切线核（NTK）诱导的软树集成任意树结构。这个内核导致了一个显着的发现，即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说，如果每个深度的叶子数量是固定的，那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同，即使它们不是同构的。我们还表明，NTK的非对称树，如决策列表不退化时，他们得到无限深。这与完美二叉树形成对比，完美二叉树的NTK已知会退化，并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
Ensemble of Example-Dependent Cost-Sensitive Decision Trees
University of Luxembourg（卢森堡大学）
一些真实世界的分类问题本质上是依赖于示例的成本敏感的，其中由于错误分类而导致的成本在示例之间而不仅仅在类内变化。然而，标准的分类方法并没有考虑到这些成本，而是假设误分类错误的成本是恒定的。在以前的作品中，已经提出了一些方法，考虑到不同算法的训练的财务成本，与示例相关的成本敏感的决策树算法是一个，给出了最高的节省。在本文中，我们提出了一个新的框架，集成的例子依赖成本敏感的决策树。该框架包括在训练集的随机子样本上创建不同的依赖于示例的成本敏感决策树，然后使用三种不同的组合方法将它们组合起来。此外，我们提出了两个新的成本敏感的组合方法：成本敏感的加权投票和成本敏感的堆叠，后者是基于成本敏感的逻辑回归方法。最后，使用五个不同的数据库，从四个现实世界的应用：信用卡欺诈检测，流失建模，信用评分和直销，我们评估所提出的方法对国家的最先进的例子依赖的成本敏感的技术，即成本比例抽样，贝叶斯最小风险和成本敏感的决策树。实验结果表明，所提出的算法对所有数据库都有更好的结果，在这个意义上更高的节省。
2015-05-18 cs.LG
TE2Rules: Explaining Tree Ensembles using Rules
LinkedIn AI（领英人工智能）
本文提出 TE2Rules，通过规则列表解释二分类树集成模型，尤其擅长少数类解释，能在数百棵树规模下以相当运行时间获得更高保真度。
2024-01-23 cs.AI cs.LG
Probabilistic Wind Power Forecasting with Tree-Based Machine Learning and Weather Ensembles
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Norwegian University of Science and Technology（挪威科学技术大学）
本文提出利用树形机器学习和天气集成方法，提高风力发电的概率预测精度，实验结果显示其在误差降低和预测准确性方面优于传统方法。
2026-07-14 cs.LG
Discretization-free Multicalibration through Loss Minimization over Tree Ensembles
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；J.P. Morgan Chase AI Research（摩根大通AI研究）
本文提出一种免离散化的多校准方法，通过树集成上的经验风险最小化实现，并证明在损失饱和条件下有效，实验显示其性能匹配或优于现有方法。
2025-05-23 cs.LG
On Computing Optimal Tree Ensembles
TU Berlin（柏林工业大学）
本文针对树集成缺乏最优计算研究的问题，提出了两种新算法及下界：利用见证树技术计算指定大小内最优树集成，并证明动态规划适用于树集成，同时发现集成所需切割数随树增加呈指数级减少。
2024-09-24 cs.DS cs.LG
Optimally Pruning Decision Tree Ensembles With Feature Cost
Boston University（波士顿大学）
我们考虑的问题学习决策规则的预测与功能预算约束。特别是，我们感兴趣的是修剪决策树的集合，以降低预期的特征成本，同时保持任何测试示例的高预测精度。我们提出了一种新的0-1整数规划制定整体修剪。我们的修剪公式是通用的-它需要任何集成的决策树作为输入。通过明确考虑跨树的特征共享以及准确性/成本权衡，我们的方法能够通过修剪子树来显着降低特征成本，这些子树在特征成本方面引入的损失比在预测准确性增益方面带来的好处更多。理论上，我们证明了线性规划松弛产生原整数规划的精确解。这使我们能够使用有效的凸优化工具来获得任何给定预算的最佳修剪合奏。从经验上讲，我们看到，我们的修剪算法显着提高了最先进的集成方法BudgetRF的性能。
2016-01-05 cs.LG stat.ML
Joint Optimization of Piecewise Linear Ensembles
University of Michigan（密歇根大学）
本文提出JOPLEn方法，通过在现有树集成模型的所有叶节点上联合拟合分段线性模型并引入多种惩罚项，有效提升了非线性预测性能，并在153个数据集上验证了其优于现有树集成增强方法。
2024-08-29 cs.LG
Predicting Delayed Train Trajectories on the Dutch Railway Network: Explainable AI Evaluation of Topological, Operational and Weather Features with Tree Based Ensemble Methods
本研究利用可解释的树集成模型预测荷兰铁路网列车晚点，发现丰富特征虽提升同期预测精度，但跨月预测性能衰减，归因于环境特征波动，需转向动态季节感知架构。
2026-10-14 cs.LG
ACE: An Actor Ensemble Algorithm for Continuous Control with Tree Search
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一个演员集成算法，名为ACE，连续控制与确定性的政策，强化学习。在ACE中，我们使用演员合奏（即，多个演员）来搜索评论家的全局最大值。除了合奏的角度来看，我们还制定了ACE的选项框架中扩展的选择批评家的架构与确定性的选择内的政策，揭示合奏和选项之间的关系。此外，我们使用这些演员和学习的价值预测模型执行前瞻树搜索，从而得到精确的价值估计。我们证明了显着的性能提升ACE DDPG及其变种在具有挑战性的物理机器人模拟器。
2018-11-06 cs.AI cs.LG
On $\ell_p$-norm Robustness of Ensemble Stumps and Trees
Tsinghua University（清华大学）；UCLA（加利福尼亚大学洛杉矶分校）；MIT（麻省理工学院）
近年来的研究表明，树和树的集成模型容易受到小的输入扰动的影响，因此对这些模型的鲁棒性验证和防御成为一个重要的研究问题。然而，由于决策树的结构，其中每个节点纯粹基于一个特征值进行决策，所有以前的工作只考虑$\ell_\infty$范数扰动。为了研究相对于一般$\ell_p$范数扰动的鲁棒性，必须考虑不同特征上的扰动之间的相关性，这是以前的算法没有处理的。在本文中，我们研究的问题，鲁棒性验证和认证防御方面的一般$\ell_p$范数扰动的集成决策树和树。对于集成树桩的鲁棒性验证，我们证明了完整的验证是NP-完全的$p\in(0, \infty)$，而多项式时间的算法存在的$p=0$或$\infty$。对于$p\in(0, \infty)$，我们开发了一个有效的动态规划为基础的算法的声音验证合奏树桩。对于集成树，我们将以前的多级鲁棒性验证算法推广到$\ell_p$范数。我们证明了第一个认证的防御方法，训练集成树桩和树的$\ell_p$规范扰动，并验证其有效性经验上的真实数据集。
2020-09-29 cs.LG stat.ML
Tree Ensemble Explainability through the Hoeffding Functional Decomposition and TreeHFD Algorithm
Thales cortAIx-Labs - SINCLAIR AI Lab（泰雷兹 cortAIx 实验室 - SINCLAIR 人工智能实验室）
针对树集成模型的黑箱特性及相关变量下霍夫丁分解估计难的问题，提出TreeHFD算法估计树集成的霍夫丁分解，证明其收敛性与关键特性，实验验证其高性能并揭示TreeSHAP与霍夫丁分解的强关联。
2025-10-28 cs.LG stat.ML
Formal Verification of Input-Output Mappings of Tree Ensembles
Saab AB（萨博集团）；Linköping University（林雪平大学）
机器学习和人工智能的最新进展现在正在考虑安全关键的自主系统，其中软件缺陷可能会对人类和环境造成严重伤害。这些领域的设计组织目前无法提供令人信服的论据，证明当使用机器学习算法来实现其软件时，他们的系统可以安全运行。本文提出了一种从决策树和树集成中提取等价类的有效方法，并形式化地验证它们的输入输出映射是否符合要求。这个想法是，鉴于安全需求可以追溯到系统输入输出模式的理想属性，我们可以在安全参数中使用积极的验证结果。本文介绍了该方法的实施工具投票（树集成验证器），并评估其可扩展性的两个案例研究，在当前文献中。我们证明了我们的方法是实用的树集成训练低维数据高达25决策树和树深度高达20。我们的工作还研究了高维数据的方法的局限性，并初步探讨了大量的树和验证所需的时间之间的权衡。
2020-03-23 cs.LG stat.ML
Optimal Counterfactual Search in Tree Ensembles: A Study Across Modeling and Solution Paradigms
Polytechnique Montréal（蒙特利尔理工学院）
本文研究了在可信度和可操作性约束下计算树集成最优反事实解释的组合问题，提出CPCF约束编程方法，并通过十种数据集和三种树集成类型验证其性能，发现CP方法整体表现最佳。
2026-05-07 cs.LG
Generating Compact Tree Ensembles via Annealing
CoreML Group Apple Inc.（苹果公司CoreML团队）；Department of Mathematics Florida State University（佛罗里达州立大学数学系）；Department of Statistics Florida State University（佛罗里达州立大学统计系）
树集成是灵活的预测模型，可以捕获相关变量，并在某种程度上以紧凑和可解释的方式进行交互。大多数用于获得树集成的算法都基于boosting或Random Forest的版本。以前的工作表明，由于优化损失的方式，boosting算法表现出一次又一次选择同一棵树的循环行为。同时，随机森林不是基于损失优化，得到的模型更复杂，可解释性更差。在本文中，我们提出了一种新的方法来获得紧凑的树集成并行生长的树与许多独立的提升线程，然后选择一个小的子集，并更新其叶权重的损失优化。我们允许初始池中的树具有不同的深度，这进一步有助于泛化。在真实数据集上的实验表明，所获得的模型通常具有比boosting更小的损失，这也反映在测试集上更低的误分类错误上。
2020-02-20 cs.LG stat.ML
A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming
University of Pavia（帕维亚大学）；University of Seville（塞维利亚大学）
本研究针对树集成模型可解释性不足的问题，提出一种基于整数规划求解集合划分问题的统一规则提取方法，适用于多类数据与任务，在预测性能和保真度上表现优异且可有效提取时间序列树集成的可解释规则。
2025-01-13 cs.LG math.OC
RCProb: Probabilistic rule extraction from classification tree ensembles
Department of Industrial Engineering（工业工程系）
本文提出RCProb，一种基于概率的方法，用于从树集成中提取规则，以减少计算成本并生成更紧凑的规则集，同时保持预测性能。
2026-09-04 cs.LG
Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers
University of Cambridge（剑桥大学）
本文提出将随机森林视为自适应正则化平滑器，揭示其通过平滑效应、减少学习函数变异性及丰富假设空间三种机制提升性能，挑战仅归因于方差降低的传统观点。
2024-02-02 cs.LG stat.ML
FUTURE: Flexible Unlearning for Tree Ensemble
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴克研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）；Stony Brook University（石溪大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Apple Inc（苹果公司）
针对树集成遗忘方法泛化差、效率低的问题，本文提出 FUTURE，将样本遗忘建模为梯度优化并用概率模型近似处理不可微性，实现高效端到端遗忘。
2025-08-28 cs.AI cs.LG
Fast Inference of Tree Ensembles on ARM Devices
TU Dortmund（多特蒙德工业大学）；Ca’ Foscari Univ. of Venice（威尼斯大学）
本文针对ARM设备上的树集成模型推理，将QuickScorer算法从Intel AVX移植到ARM NEON，并扩展至分类模型，研究定点量化影响，实现最高9.4倍加速，且量化模型速度更优而性能损失可忽略。
2023-05-15 cs.LG
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中，我们实验比较的分类不确定性的随机决策树（DT）集成技术和贝叶斯DT技术与重新启动策略上的合成数据集，以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估，我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果，这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术，我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
Evolutionary algorithms for constructing an ensemble of decision trees
Yandex；National Research University Higher School of Economics（俄罗斯国立高等经济研究大学）
大多数决策树归纳算法是基于一个贪婪的自顶向下递归划分策略的树生长。本文提出了几种基于进化算法的决策树及其集成的归纳方法。我们的方法的主要区别是使用实值向量表示的决策树，允许使用大量不同的优化算法，以及优化整个树或集成，以避免局部最优。选择差分进化和演化策略作为优化算法，因为它们在强化学习问题中具有良好的效果。我们使用几个公开的UCI数据集测试了这些方法的预测性能，所提出的方法表现出比经典方法更好的质量。
2020-02-03 cs.LG cs.NE stat.ML
Inherently Interpretable Tree Ensemble Learning
Wells Fargo（富国银行）；H2O.ai（H2O.ai公司）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对树集成模型可解释性不足的问题，利用浅层决策树将其转化为 functional ANOVA 表示，并通过训练约束和事后剪枝提升可解释性，实现解释性与预测性能的更优权衡。
2024-10-24 cs.LG stat.ML
Feature Partitioning for Robust Tree Ensembles and their Certification in Adversarial Scenarios
Ca’ Foscari University of Venice（威尼斯卡福斯卡里大学）
机器学习算法，无论多么有效，都被认为在恶意用户可能注入操纵实例的对抗场景中是脆弱的。在这项工作中，我们专注于逃避攻击，其中模型在安全的环境中训练，并在测试时暴露于攻击。攻击者的目标是找到一个最小的扰动的测试实例，改变模型的结果。我们提出了一个模型不可知的策略，建立一个强大的合奏，通过训练其基本模型的给定数据集的基于特征的分区。我们的算法保证了集合中的大多数模型不会受到攻击者的影响。我们在决策树集成上实验了所提出的策略，并且我们还提出了一种近似的树集成认证方法，该方法有效地评估了给定数据集上森林的最小准确度，避免了规避攻击的昂贵计算。在公开数据集上的实验结果表明，该策略在抵御规避攻击方面优于现有的对抗性学习算法.
2020-04-07 cs.LG stat.ML
