Adversarial Example Detection in Deployed Tree Ensembles
KU Leuven（鲁汶大学）
树集合是一种被广泛使用的强大模型。然而，它们容易受到对抗性示例的影响，这些示例是故意构建的，以引起模型的错误预测。这可能会降低性能并削弱用户对模型的信任。通常，方法试图通过验证学习的集成有多鲁棒或鲁棒学习过程来缓解这个问题。我们采取了另一种方法，并试图在部署后的环境中检测对抗性的例子。我们提出了一种新的方法，这项任务的工作原理，通过分析一个看不见的例子的输出配置，这是一个合奏的组成树的预测集。我们的方法适用于任何加性树集合，并且不需要训练单独的模型。我们评估我们的方法上三个不同的树集成学习器。我们的经验表明，我们的方法是目前最好的对抗检测方法的树集成。
2022-06-27 cs.CR cs.LG
A-PETE: Adaptive Prototype Explanations of Tree Ensembles
Poznan University of Technology（波兹南理工大学）
针对树集成模型的可解释性需求，提出A-PETE算法，利用专门距离度量和改进k-medoid方法自动选择原型，在保持预测精度的同时为随机森林等分类器提供充分的原型解释。
2024-05-31 cs.LG
Beyond TreeSHAP: Efficient Computation of Any-Order Shapley Interactions for Tree Ensembles
LMU Munich（慕尼黑大学）；MCML Munich（慕尼黑机器学习中心）；Bielefeld University（比勒费尔德大学）；CITEC（认知交互技术卓越中心）
针对树集成模型黑盒特性及现有TreeSHAP仅支持单特征归因的局限，提出TreeSHAP-IQ方法，依托多项式算术框架通过单次树遍历高效计算任意阶加性Shapley交互作用，并在基准数据集上验证了有效性。
2024-01-22 cs.LG
ForestPrune: Compact Depth-Controlled Tree Ensembles
MIT（麻省理工学院）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）
ForestPrune通过优化剪除树集成中单棵树的深度层来压缩模型，其专用算法可在中等规模数据上几秒内得到高质量解，生成的简约模型性能优于现有后处理方法。
2023-05-24 cs.LG stat.ML
Explainable Models via Compression of Tree Ensembles
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon（亚马逊）；Indiana University（印第安纳大学）；Oregon State University（俄勒冈州立大学）
关系型决策树的包围模型（Bagging和Gradient-Boosting）是概率逻辑模型（PLM）领域中最有效的学习方法之一。虽然有效，但它们失去了PLM最重要的方面之一--可解释性。在本文中，我们考虑的问题，压缩成一个单一的可解释的模型的学习树的一个大集合。为此，我们提出了CoTE -压缩树集成-产生一个单一的小决策列表作为压缩表示。CoTE首先将树转换为决策列表，然后在原始训练集的帮助下执行组合和压缩。实验评估表明，在几个基准关系数据集的CoTE的有效性。
2022-06-16 cs.LG
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
基于树的集成，例如Breiman的随机森林（RF）和梯度提升树（GBT）可以被解释为隐式内核生成器，其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。最近，它已被证明，内核的解释是密切相关的其他基于树的合奏，如GBT。然而，内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成（包括RF和GBT）之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究，包括连续和二进制目标的性能和属性。我们表明，对于连续的目标，RF/GBT内核在高维场景中，特别是在具有大量噪声特征的情况下，与它们各自的合奏具有竞争力。对于二进制目标，RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果，以展示如何在实践中利用这些见解。总体而言，我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后，我们讨论了基于树集成的生存目标，可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Hoeffding adaptive splitting trees for data stream classification with concept drift and ensemble learning
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Sorbonne Université（索邦大学）
本文针对自适应分裂决策树作为集成基学习器的多样性不足问题，提出霍夫丁自适应分裂树模型，结合霍夫丁树的周期性分裂策略与自适应分裂机制，在综合评估中实现了最优的数据流分类性能。
2026-08-18 cs.AI cs.LG
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon（俄勒冈大学）
我们如何识别对树集成预测贡献最大的训练样本？在本文中，我们介绍TREX，解释系统，提供实例属性的解释树集成，如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的，我们定义了一个内核，捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核，TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明，TREX的代理模型能准确地逼近树系集，其全局重要性权重在数据集调试中比现有的方法更有效，在移除和重新训练评估框架下，其解释能更好地识别最具影响力的样本，其运行速度比其他方法快几个数量级，并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
Multiple Instance Learning with Trainable Decision Tree Ensembles
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的基于随机森林的小数据量多实例学习模型--软树枚举多实例学习模型（SoftTreeEnseminationMIL，STE-MIL）。本文提出了一种新的软决策树，它类似于著名的软斜树，但具有较少的可训练参数。为了训练树，建议将它们转换为特定形式的神经网络，该网络逼近树函数。还提出了通过使用注意力机制来聚合实例和包嵌入（输出向量）。整个STE-MIL模型，包括软决策树，神经网络，注意力机制和分类器，在一个端到端的方式进行训练。表格数据集的数值实验说明了STE-MIL。实现该模型的相应代码是公开的。
2023-02-13 cs.LG
A Framework for an Assessment of the Kernel-target Alignment in Tree Ensemble Kernel Learning
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
从树集成（如随机森林（RF）或梯度提升树（GBT））产生的内核，当用于内核学习时，已被证明与其各自的树集成（特别是在高维场景中）具有竞争力。另一方面，它也已被证明，核算法的性能取决于核目标对准的程度。然而，基于树集成的核学习的核目标对齐尚未被研究，填补这一空白是我们工作的主要目标。使用核矩阵的特征分析，我们证明了对于连续目标，基于树的核学习的良好性能与强的核目标对齐相关。此外，我们表明，表现良好的树集成基于内核的特点是通过核矩阵和目标的特征向量之间的标量积表示的强目标对齐组件。这表明，当基于树集成的核学习成功时，监督问题的相关信息集中在目标对齐组件所跨越的低维流形附近。基于树集成的核中的强目标对准分量的持久性进一步通过经由地标学习的敏感性分析来支持。除了一个全面的模拟研究，我们还提供了实验结果，从几个现实生活中的数据集，符合模拟。
2021-08-19 cs.LG stat.ML
PACSET (Packed Serialized Trees): Reducing Inference Latency for Tree Ensemble Deployment
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；United States Military Academy（美国军事学院）
我们提出的方法来序列化和序列化树集成，优化推理延迟时，模型还没有加载到内存中。当模型大于内存时，就会出现这种情况，但当模型部署在低资源设备上时，例如在物联网中，或者作为Web微服务运行时，资源按需分配时，也会出现这种情况。我们的包装序列化树（PACSET）编码的参考局部性的布局中的树集成使用的原则，从外部存储器的算法。该布局在多棵树上交错相关节点，使用叶基数来配置最流行路径上的节点，并针对I/O块大小进行了优化。其结果是，每个I/O产生更高比例的有用数据，从而使交互式工作负载的分类延迟减少2-6倍。
2020-11-10 cs.DC cs.LG
Faster Repeated Evasion Attacks in Tree Ensembles
KU Leuven（鲁汶大学）；Czech Technical University（捷克技术大学）
针对树集成模型对抗样本构造的计算挑战，提出利用相似问题间对抗扰动特征集的一致性来快速识别并加速重复构造对抗样本的方法。
2024-02-13 cs.LG
An Efficient Adversarial Attack for Tree Ensembles
Department of Computer Science, UCLA（加利福尼亚大学洛杉矶分校计算机科学系）
研究了基于树的集成算法的有效对抗攻击问题，如梯度提升决策树（GBDTs）和随机森林（RFs）。由于这些模型是非连续的阶跃函数，并且不存在梯度，因此大多数现有的有效对抗攻击都不适用。虽然可以应用基于决策的黑盒攻击，但它们不能利用树的特殊结构。在我们的工作中，我们将攻击问题转化为一个专门为树集合设计的离散搜索问题，其目标是找到一个有效的“叶元组”，导致错误分类，同时具有到原始输入的最短距离。有了这个公式，我们表明，一个简单而有效的贪心算法可以应用到迭代优化的对抗性的例子，通过移动叶元组到其附近的汉明距离1。在几个大型GBDT和RF模型上的实验结果表明，我们的方法可以比以前基于混合整数线性规划（MILP）的方法快数千倍，同时还提供了比基于决策的黑箱攻击更小（更好）的对抗性示例。我们的代码可在https://github.com/chong-z/tree-ensemble-attack上获得。
2020-10-22 cs.LG
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
软树是决策树的一种正在研究的变体，它使用梯度方法更新分裂规则。虽然软树可以采用各种架构，但它们的影响在理论上并不为人所知。在本文中，我们制定和分析的神经切线核（NTK）诱导的软树集成任意树结构。这个内核导致了一个显着的发现，即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说，如果每个深度的叶子数量是固定的，那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同，即使它们不是同构的。我们还表明，NTK的非对称树，如决策列表不退化时，他们得到无限深。这与完美二叉树形成对比，完美二叉树的NTK已知会退化，并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
TE2Rules: Explaining Tree Ensembles using Rules
LinkedIn AI（领英人工智能）
本文提出 TE2Rules，通过规则列表解释二分类树集成模型，尤其擅长少数类解释，能在数百棵树规模下以相当运行时间获得更高保真度。
2024-01-23 cs.AI cs.LG
Born-Again Tree Ensembles
Pontifical Catholic University of Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）；Technical University of Munich（慕尼黑工业大学）
机器学习算法在金融、医学和刑事司法中的应用可以深刻影响人类生活。因此，对可解释的机器学习的研究迅速发展，试图更好地控制和修复错误和偏见的可能来源。树集成在各个领域提供了良好的预测质量，但同时使用多棵树降低了集成的可解释性。在此背景下，我们研究了一次又一次的树集合，即，构造最小尺寸的单个决策树的过程，该决策树在其整个特征空间中再现与给定树集合完全相同的行为。为了找到这样一棵树，我们开发了一个基于动态编程的算法，利用复杂的修剪和边界规则，以减少递归调用的数量。该算法为许多实际感兴趣的数据集生成最佳的重复树，从而产生通常更简单，更可解释的分类器，而无需任何其他形式的妥协。
2020-08-27 cs.LG stat.ML
Optimally Pruning Decision Tree Ensembles With Feature Cost
Boston University（波士顿大学）
我们考虑的问题学习决策规则的预测与功能预算约束。特别是，我们感兴趣的是修剪决策树的集合，以降低预期的特征成本，同时保持任何测试示例的高预测精度。我们提出了一种新的0-1整数规划制定整体修剪。我们的修剪公式是通用的-它需要任何集成的决策树作为输入。通过明确考虑跨树的特征共享以及准确性/成本权衡，我们的方法能够通过修剪子树来显着降低特征成本，这些子树在特征成本方面引入的损失比在预测准确性增益方面带来的好处更多。理论上，我们证明了线性规划松弛产生原整数规划的精确解。这使我们能够使用有效的凸优化工具来获得任何给定预算的最佳修剪合奏。从经验上讲，我们看到，我们的修剪算法显着提高了最先进的集成方法BudgetRF的性能。
2016-01-05 cs.LG stat.ML
ACE: An Actor Ensemble Algorithm for Continuous Control with Tree Search
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一个演员集成算法，名为ACE，连续控制与确定性的政策，强化学习。在ACE中，我们使用演员合奏（即，多个演员）来搜索评论家的全局最大值。除了合奏的角度来看，我们还制定了ACE的选项框架中扩展的选择批评家的架构与确定性的选择内的政策，揭示合奏和选项之间的关系。此外，我们使用这些演员和学习的价值预测模型执行前瞻树搜索，从而得到精确的价值估计。我们证明了显着的性能提升ACE DDPG及其变种在具有挑战性的物理机器人模拟器。
2018-11-06 cs.AI cs.LG
On $\ell_p$-norm Robustness of Ensemble Stumps and Trees
Tsinghua University（清华大学）；UCLA（加利福尼亚大学洛杉矶分校）；MIT（麻省理工学院）
近年来的研究表明，树和树的集成模型容易受到小的输入扰动的影响，因此对这些模型的鲁棒性验证和防御成为一个重要的研究问题。然而，由于决策树的结构，其中每个节点纯粹基于一个特征值进行决策，所有以前的工作只考虑$\ell_\infty$范数扰动。为了研究相对于一般$\ell_p$范数扰动的鲁棒性，必须考虑不同特征上的扰动之间的相关性，这是以前的算法没有处理的。在本文中，我们研究的问题，鲁棒性验证和认证防御方面的一般$\ell_p$范数扰动的集成决策树和树。对于集成树桩的鲁棒性验证，我们证明了完整的验证是NP-完全的$p\in(0, \infty)$，而多项式时间的算法存在的$p=0$或$\infty$。对于$p\in(0, \infty)$，我们开发了一个有效的动态规划为基础的算法的声音验证合奏树桩。对于集成树，我们将以前的多级鲁棒性验证算法推广到$\ell_p$范数。我们证明了第一个认证的防御方法，训练集成树桩和树的$\ell_p$规范扰动，并验证其有效性经验上的真实数据集。
2020-09-29 cs.LG stat.ML
Tree Ensemble Explainability through the Hoeffding Functional Decomposition and TreeHFD Algorithm
Thales cortAIx-Labs - SINCLAIR AI Lab（泰雷兹 cortAIx 实验室 - SINCLAIR 人工智能实验室）
针对树集成模型的黑箱特性及相关变量下霍夫丁分解估计难的问题，提出TreeHFD算法估计树集成的霍夫丁分解，证明其收敛性与关键特性，实验验证其高性能并揭示TreeSHAP与霍夫丁分解的强关联。
2025-10-28 cs.LG stat.ML
Evolutionary algorithms for constructing an ensemble of decision trees
Yandex；National Research University Higher School of Economics（俄罗斯国立高等经济研究大学）
大多数决策树归纳算法是基于一个贪婪的自顶向下递归划分策略的树生长。本文提出了几种基于进化算法的决策树及其集成的归纳方法。我们的方法的主要区别是使用实值向量表示的决策树，允许使用大量不同的优化算法，以及优化整个树或集成，以避免局部最优。选择差分进化和演化策略作为优化算法，因为它们在强化学习问题中具有良好的效果。我们使用几个公开的UCI数据集测试了这些方法的预测性能，所提出的方法表现出比经典方法更好的质量。
2020-02-03 cs.LG cs.NE stat.ML
Formal Verification of Input-Output Mappings of Tree Ensembles
Saab AB（萨博集团）；Linköping University（林雪平大学）
机器学习和人工智能的最新进展现在正在考虑安全关键的自主系统，其中软件缺陷可能会对人类和环境造成严重伤害。这些领域的设计组织目前无法提供令人信服的论据，证明当使用机器学习算法来实现其软件时，他们的系统可以安全运行。本文提出了一种从决策树和树集成中提取等价类的有效方法，并形式化地验证它们的输入输出映射是否符合要求。这个想法是，鉴于安全需求可以追溯到系统输入输出模式的理想属性，我们可以在安全参数中使用积极的验证结果。本文介绍了该方法的实施工具投票（树集成验证器），并评估其可扩展性的两个案例研究，在当前文献中。我们证明了我们的方法是实用的树集成训练低维数据高达25决策树和树深度高达20。我们的工作还研究了高维数据的方法的局限性，并初步探讨了大量的树和验证所需的时间之间的权衡。
2020-03-23 cs.LG stat.ML
PINE: Pruning Boosted Tree Ensembles with Conformal In-Distribution Prediction Equivalence
The University of Tokyo（东京大学）
提出PINE方法，通过共形校准控制分布内区域，在保持预测等价的同时将剪枝压缩比提升高达30%。
2026-05-29 cs.LG
Generating Compact Tree Ensembles via Annealing
CoreML Group Apple Inc.（苹果公司CoreML团队）；Department of Mathematics Florida State University（佛罗里达州立大学数学系）；Department of Statistics Florida State University（佛罗里达州立大学统计系）
树集成是灵活的预测模型，可以捕获相关变量，并在某种程度上以紧凑和可解释的方式进行交互。大多数用于获得树集成的算法都基于boosting或Random Forest的版本。以前的工作表明，由于优化损失的方式，boosting算法表现出一次又一次选择同一棵树的循环行为。同时，随机森林不是基于损失优化，得到的模型更复杂，可解释性更差。在本文中，我们提出了一种新的方法来获得紧凑的树集成并行生长的树与许多独立的提升线程，然后选择一个小的子集，并更新其叶权重的损失优化。我们允许初始池中的树具有不同的深度，这进一步有助于泛化。在真实数据集上的实验表明，所获得的模型通常具有比boosting更小的损失，这也反映在测试集上更低的误分类错误上。
2020-02-20 cs.LG stat.ML
A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming
University of Pavia（帕维亚大学）；University of Seville（塞维利亚大学）
本研究针对树集成模型可解释性不足的问题，提出一种基于整数规划求解集合划分问题的统一规则提取方法，适用于多类数据与任务，在预测性能和保真度上表现优异且可有效提取时间序列树集成的可解释规则。
2025-01-13 cs.LG math.OC
Optimization of Oblivious Decision Tree Ensembles Evaluation for CPU
CatBoost是一个流行的机器学习库。CatBoost模型基于不经意决策树，使训练和评估变得快速。CatBoost有许多应用程序，有些需要低延迟和高吞吐量评估。本文研究了提高CatBoost在单核CPU计算中的性能的可能性。我们探索AVX指令集提供的新功能，以优化评估。我们使用AVX 2指令将性能提高了20-40%，而不会影响质量。我们还引入了速度和质量之间的新权衡。使用float 16作为叶值和AVX-512指令，我们实现了50-70%的加速。
2022-11-01 cs.LG
Register Your Forests: Decision Tree Ensemble Optimization by Explicit CPU Register Allocation
TU Dortmund（多特蒙德大学）；University of Twente（特温特大学）
针对工具链抽象导致决策树集成推理中 CPU 寄存器利用不足的问题，提出单步由高级模型直接生成汇编并显式分配寄存器的方法，最高实现约 1.6 倍加速。
2024-04-10 cs.LG
Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers
University of Cambridge（剑桥大学）
本文提出将随机森林视为自适应正则化平滑器，揭示其通过平滑效应、减少学习函数变异性及丰富假设空间三种机制提升性能，挑战仅归因于方差降低的传统观点。
2024-02-02 cs.LG stat.ML
Causal Inference Based Single-branch Ensemble Trees For Uplift Modeling
Everbright Technology Co. LTD（光大科技有限公司）
在这篇手稿（MS）中，我们提出了因果推理为基础的单分支集成树隆起建模，即CIET。与预测概率建模的标准分类方法不同，CIET旨在实现由行为或治疗引起的结果预测概率的变化。根据我们的CIET，两个划分标准是专门设计的，以最大限度地提高治疗组和对照组之间的结果分布差异。接下来，一个新的单分支树是建立通过采取自顶向下的节点划分方法，和其余的样本进行审查，因为他们没有被覆盖的上层节点划分逻辑。在删失数据上重复树的构建过程，从而形成具有一组推理规则的单分支集成树。此外，实验表明，CIET优于以往的隆升模拟方法在隆升曲线下的面积（AUUC）和基尼系数显着。目前，信投贷已在国内某国家级金融控股集团应用于线上个人贷款。CIET还将有助于分析师将机器学习技术应用于更广泛的商业领域，如网络广告，医学和经济学的因果推理。
2023-02-03 cs.LG
FUTURE: Flexible Unlearning for Tree Ensemble
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴克研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）；Stony Brook University（石溪大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Apple Inc（苹果公司）
针对树集成遗忘方法泛化差、效率低的问题，本文提出 FUTURE，将样本遗忘建模为梯度优化并用概率模型近似处理不可微性，实现高效端到端遗忘。
2025-08-28 cs.AI cs.LG
GRANDE: Gradient-Based Decision Tree Ensembles for Tabular Data
University of Mannheim（曼海姆大学）；University of Rostock（罗斯托克大学）
针对表格数据缺乏专用梯度方法的问题，提出GRANDE——一种基于端到端梯度下降的硬轴对齐决策树集成方法，结合梯度优化灵活性与表格数据归纳偏置，在19个分类基准数据集上多数优于现有梯度提升和深度学习框架。
2024-03-12 cs.LG
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中，我们实验比较的分类不确定性的随机决策树（DT）集成技术和贝叶斯DT技术与重新启动策略上的合成数据集，以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估，我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果，这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术，我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
Factor-augmented tree ensembles
Imperial College London（帝国理工学院）
本研究提出用状态空间法提取的潜平稳因子扩展时间序列回归树的信息集，从两维度推广该类回归树，其集成模型可有效解决宏观金融问题，并以美股波动率和商业周期的领先滞后效应为例验证。
2023-06-12 cs.LG econ.EM stat.ML
Inherently Interpretable Tree Ensemble Learning
Wells Fargo（富国银行）；H2O.ai（H2O.ai公司）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对树集成模型可解释性不足的问题，利用浅层决策树将其转化为 functional ANOVA 表示，并通过训练约束和事后剪枝提升可解释性，实现解释性与预测性能的更优权衡。
2024-10-24 cs.LG stat.ML
End-to-end Feature Selection Approach for Learning Skinny Trees
MIT（麻省理工学院）
提出Skinny Trees端到端树集成特征选择方法，通过分组$\ell_0$-正则化器同时训练可微树并控制特征数量，在15个数据集上实现高压缩率与加速推理，且性能优于现有工具包。
2025-04-06 cs.LG
Feature Partitioning for Robust Tree Ensembles and their Certification in Adversarial Scenarios
Ca’ Foscari University of Venice（威尼斯卡福斯卡里大学）
机器学习算法，无论多么有效，都被认为在恶意用户可能注入操纵实例的对抗场景中是脆弱的。在这项工作中，我们专注于逃避攻击，其中模型在安全的环境中训练，并在测试时暴露于攻击。攻击者的目标是找到一个最小的扰动的测试实例，改变模型的结果。我们提出了一个模型不可知的策略，建立一个强大的合奏，通过训练其基本模型的给定数据集的基于特征的分区。我们的算法保证了集合中的大多数模型不会受到攻击者的影响。我们在决策树集成上实验了所提出的策略，并且我们还提出了一种近似的树集成认证方法，该方法有效地评估了给定数据集上森林的最小准确度，避免了规避攻击的昂贵计算。在公开数据集上的实验结果表明，该策略在抵御规避攻击方面优于现有的对抗性学习算法.
2020-04-07 cs.LG stat.ML
The Tree Ensemble Layer: Differentiability meets Conditional Computation
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）
神经网络和树集成是最先进的学习器，每一个都有其独特的统计和计算优势。我们的目标是通过为神经网络引入一个新的层来结合这些优势，该层由可微决策树（a.k.a.软树）。虽然可微树在文献中展示了有希望的结果，但它们通常在训练和推理中很慢，因为它们不支持条件计算。我们通过引入一个新的样本路由稀疏激活函数来缓解这个问题，并通过开发利用稀疏性的专门的前向和后向传播算法来实现真正的条件计算。我们的高效算法为使用一阶方法（例如，SGD）。在23个分类数据集上的实验表明，与文献中使用的可微树相比，速度提高了10倍以上，与梯度提升树相比，参数数量减少了20倍以上，同时保持了竞争力。此外，在CIFAR、MNIST和Fashion MNIST上的实验表明，用我们的树层替换CNN中的密集层，测试损失减少了7-53%，参数数量减少了8倍。我们提供了一个带有Keras API的开源TensorFlow实现。
2020-07-11 cs.CV cs.LG stat.ML
Data-Aware and Scalable Sensitivity Analysis for Decision Tree Ensembles
Department of Computer Science and Engineering, Indian Institute of Technology Bombay（计算机科学与工程系，印度理工学院班加罗尔）
本文提出了一种数据感知的敏感性分析框架，用于评估决策树集成的鲁棒性和公平性，通过混合整数线性规划和SMT编码提高效率，并在大规模集成上实现了显著改进。
2026-08-06 cs.LG stat.ML
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
School of Industrial Management Engineering, Korea University（韩国大学工业管理工程学院）；School of Mechanical Engineering, Chungnam National University（Chungnam国立大学机械工程学院）
提出一种基于核Fisher判别分析的树集成方法KFDA Forest，通过Bootstrap和随机子集划分增强多样性，利用核技巧处理非线性数据，以决策树为基分类器提升准确率。
2026-06-27 cs.LG
Rigorous Explanations for Tree Ensembles
National University of Singapore（新加坡国立大学）；Monash University（莫纳什大学）；Nanyang Technological University（南洋理工大学）
本文研究如何为随机森林和提升树这两种树集成方法计算严谨且逻辑严谨的解释，以增强人类决策者对模型预测的理解与信任。
2026-03-31 cs.AI cs.LG cs.LO
FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
由于算法决策对人类的影响越来越大，模型可解释性已经成为机器学习（ML）中的一个重要问题。反事实解释不仅可以帮助用户理解为什么ML模型做出某些决策，还可以帮助用户理解如何改变这些决策。我们将寻找反事实解释的问题框架为基于梯度的优化任务，并扩展了以前只能应用于可微模型的工作。为了适应不可微的模型，如树集成，我们使用概率模型近似的优化框架。我们介绍了一种近似技术，这是有效的寻找反事实的解释，为原始模型的预测，并表明我们的反事实的例子显着更接近原始的实例比其他方法专门设计的树合奏。
2021-12-17 cs.AI cs.LG
Tree Ensembles for Contextual Bandits
Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）；Volvo Car Corporation（沃尔沃汽车公司）
本文提出基于树集成的上下文老虎机框架，通过改进不确定性估计方法，在减少遗憾和提升计算效率方面优于传统方法。
2024-11-01 cs.AI cs.LG stat.ML
Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification
JD AI Research（京东人工智能研究院）；Stanford University（斯坦福大学）
最近的方面级情感分类工作已经证明了将句法结构（如依赖树）与图神经网络（GNN）相结合的有效性，但这些方法通常容易出现解析错误。为了更好地利用语法信息，面对不可避免的错误，我们提出了一个简单而有效的图集成技术，GraphMerge，利用不同的解析器的预测。我们没有为每个依赖树分配一组模型参数，而是首先将来自不同解析的依赖关系组合在一起，然后将GNN应用于结果图。这使得GNN模型能够在没有额外计算成本的情况下强大地解析错误，并通过将更多的连接引入到系综图中来帮助避免GNN层堆叠的过度参数化和过度拟合。我们在SemEval 2014 Task 4和ACL 14 Twitter数据集上的实验表明，我们的GraphMerge模型不仅优于单依赖树模型，而且在不添加模型参数的情况下击败了其他集成模型。
2021-03-12 cs.CL cs.LG
Conceptual Views on Tree Ensemble Classifiers
University of Kassel（卡塞尔大学）
针对树集成分类器可解释性不足的问题，提出基于格论的代数方法，构建两种全新概念视图，在标准参数训练的Random Forest上验证了其全局解释能力。
2023-02-10 cs.AI cs.LG cs.LO
Evasion and Hardening of Tree Ensemble Classifiers
University of California, Berkeley（加州大学伯克利分校）
分类器规避包括为给定实例$x$找到最近的实例$x'$，使得$x$和$x'$的分类器预测不同。我们提出了两种新的算法，系统地计算规避树集成，如提升树和随机森林。我们的第一个算法使用混合线性规划求解器，并在一组表达约束下找到最佳规避实例。我们的第二个算法权衡使用符号预测，一种新的算法快速有限差分树合奏的速度最优。在数字识别任务中，我们证明了梯度提升树和随机森林都非常容易受到逃避。最后，我们通过使用规避实例增强每个boosting回合的训练集来强化boosted树模型，而不会损失预测准确性，这种技术我们称为对抗性boosting。
2016-05-27 cs.CR cs.LG stat.ML
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT（麻省理工学院）；Cornell（康奈尔大学）；Stanford（斯坦福大学）
ControlBurn是一个Python包，用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合，优先考虑具有少量特征的基函数，然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此，ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性：例如，它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径（任何数量的选定特征的预测误差）。对于较大的数据集，运行时在样本和特征的数量上线性缩放（最多为对数因子），并且包支持使用草图加速。此外，ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的：它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix（百迪赛）
使用Shapley值的加性特征解释已经变得流行，用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性，但即使是单个机器学习模型也可以生成Shapley值，这远远不是唯一的，理论和实现决策会影响最终的属性。在这里，我们考虑应用Shapley值解释决策树集成，并提出了一种新的方法，Shapley值为基础的特征属性，可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性，同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异，并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong（香港城市大学）；Arizona State University（亚利桑那州立大学）
本文提出了一种新的随机树集成方法，用于非线性回归，我们称之为XBART，简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合，新方法获得了最先进的性能：在许多设置中，它比广泛使用的XGBoost算法更快，更准确。通过仔细的模拟研究，我们证明了我们的新方法提供了平均函数的精确逐点估计，并且比流行的替代方案（如BART，XGBoost和神经网络（使用Keras））更快。我们还证明了一些基本的理论结果，包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外，我们表明，初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗（MCMC）在XBART拟合树大大提高了可信区间覆盖率，减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree
Sapienza University of Rome（罗马大学）
针对树集成模型的黑箱问题，本文结合特征使用层次热图与带稀疏惩罚的 MILP 最优多变量代理树，实现对其预测行为的可解释近似。
2024-01-18 cs.LG math.OC
Free Lunch in the Forest: Functionally-Identical Pruning of Boosted Tree Ensembles
Polytechnique Montréal（蒙特利尔理工学院）；Centre Interuniversitaire de Recherche sur les Réseaux d’Entreprise, la Logistique et le Transport (CIRRELT)（企业网络、物流与运输跨大学研究中心（CIRRELT））
针对大型提升树集成模型可解释性差和推理慢的问题，提出功能等价剪枝方法，保证预测不变且无损，显著减小模型规模，保持最优性能。
2025-01-20 cs.LG math.OC
TreeGrad: Transferring Tree Ensembles to Neural Networks
Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
梯度提升决策树（GBDT）是流行的机器学习算法，其实现方式如LightGBM和流行的机器学习工具包如Scikit-Learn。许多实现只能以离线方式和贪婪方式生成树。我们探索如何将现有的GBDT实现转换为已知的神经网络架构，以最小的性能损失，以允许决策分裂以在线方式更新，并提供扩展，以允许分裂点被改变为神经架构搜索问题。我们为我们的神经网络提供学习边界。
2019-12-09 cs.LG stat.ML
An RKHS Perspective on Tree Ensembles
McGill University, Department of Mathematics and Statistics（麦吉尔大学数学与统计学系）；Université Marie et Louis Pasteur, CNRS, LmB (UMR 6623)（玛丽·路易斯·帕斯特大学、法国国家科学研究中心、LmB（UMR 6623））
本文从RKHS视角分析树集成方法，揭示其理论性质和连续时间梯度提升的流形结构，提出增强可解释性的核主成分分析和GVI准则。
2025-11-29 cs.LG stat.ML
A Robust Hypothesis Test for Tree Ensemble Pruning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Colby College（科尔比学院）
梯度提升决策树是应用机器学习中最流行的算法之一。它们是一种灵活而强大的工具，可以以可扩展和计算效率高的方式稳健地适应任何表格数据集。在拟合这些模型时，要调整的最关键参数之一是用于区分当前模型中的信号和噪声的各种惩罚项。这些惩罚措施在实践中是有效的，但缺乏强有力的理论依据。在本文中，我们开发并提出了一种新的理论上合理的假设检验梯度提升树系综的分裂质量，并证明，使用这种方法，而不是常见的惩罚条款，导致显着减少样本丢失。此外，该方法为树生长算法提供了一个理论上合理的停止条件。我们还提出了几个创新的扩展的方法，打开大门，各种各样的新颖的树修剪算法。
2023-01-25 cs.LG stat.ML
An Eager Splitting Strategy for Online Decision Trees
Monash University（莫纳什大学）；University of Waikato（怀卡托大学）
决策树集成在实践中有着广泛的应用。在这项工作中，我们研究了在集成设置的有效性，取代分裂策略的国家的最先进的在线树学习器，Hoeffding树，与一个严格的，但更积极的分裂策略，我们以前出版的Hoeffding AnyTime Tree。Hoeffding AnyTime Tree（HATT）使用Hoeffding测试来确定当前最佳候选分裂是否优于当前分裂，并有可能进行修改，而Hoeffding Tree旨在确定顶级候选是否优于第二个最佳候选，如果选择了测试，则为所有后代修复它。HATT收敛于理想批处理树，而Hoeffding树则不收敛。我们发现，HATT是一个有效的基础学习在线装袋和在线提升合奏。在UCI和合成流上，HATT作为基础学习者在0.05的显著性水平内优于HT，对于大多数测试的合奏，我们认为这是在线学习文献中最大和最全面的测试平台集。我们的研究结果表明，HATT是一个更好的替代Hoeffding树在大量的合奏设置。
2021-07-31 cs.LG stat.ML
