Foundational theory for optimal decision tree problems. I. Algorithmic and geometric foundations
School of Computer Science Peking University（计算机科学学院 清华大学）
本文提出ODT问题的四个新定义及基于代数编程理论推导的四个最优算法，涵盖任意分裂规则，并预示超曲面决策树算法的潜力。
2025-10-27 cs.DM cs.DS cs.LG
Loss-Optimal Classification Trees: A Generalized Framework and the Logistic Case
University of Florence（佛罗伦萨大学）
本文提出损失最优分类树的通用MIP框架，并给出结合逻辑损失线性分段近似与ℓ₁正则化的Optimal Logistic Tree，在可解释性和泛化能力上优于现有MIP方法。
2023-12-07 cs.LG stat.ML
A novel gradient-based method for decision trees optimizing arbitrary differential loss functions
Higher School of Artificial Intelligence Technologies（高等人工智能技术学院）；Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
本研究提出一种优化任意可微损失函数的决策树梯度方法，利用损失函数一二阶导数优化预测，适用于多类任务，经实验验证性能优于传统算法，代码已公开，推动了决策树与现代ML技术的融合。
2025-03-22 cs.LG stat.ML
High-Order Optimization of Gradient Boosted Decision Trees
Criteo AI Lab（科韬人工智能实验室）
梯度提升决策树（GBDTs）是用于建模离散或表格数据的主要机器学习算法。与具有数百万个可训练参数的神经网络不同，GBDTs以加法方式优化损失函数，并且每个叶具有单个可训练参数，这使得易于应用损失函数的高阶优化。在本文中，我们介绍了基于数值优化理论的GBDTs的高阶优化，该理论允许我们基于给定损失函数的高阶导数构造树。在实验中，我们表明，高阶优化具有更快的每次迭代收敛，从而减少运行时间。我们的解决方案可以很容易地并行化，并在GPU上运行，代码开销很小。最后，我们讨论了未来潜在的改进，如自动微分的任意损失函数和结合的GBDTs与神经网络。
2022-11-21 cs.LG
Decision Trees for Decision-Making under the Predict-then-Optimize Framework
Amazon（亚马逊）
我们考虑使用决策树的预测，然后优化框架下的决策问题。也就是说，我们希望首先使用决策树来预测优化问题的未知输入参数，然后通过使用预测的参数解决优化问题来做出决策。该框架中的自然损失函数是测量由预测的输入参数引起的决策的次优性，而不是使用输入参数预测误差来测量损失。这种自然的损失函数在文献中被称为智能预测然后优化（SPO）损失，我们提出了一种易于处理的方法，称为SPO树（SPOTs），用于在这种损失下训练决策树。SPOT受益于决策树的可解释性，提供了一个可解释的上下文特征分割成组，具有不同的最佳解决方案的优化问题的兴趣。我们进行了几个数值实验的合成和真实的数据，包括预测旅行时间的最短路径问题和预测点击概率的新闻文章推荐。我们在这些数据集上证明，SPOT同时提供了比其他机器学习方法（例如，CART）训练以最小化预测误差。
2020-06-18 cs.LG math.OC stat.ML
Generating Compact Tree Ensembles via Annealing
CoreML Group Apple Inc.（苹果公司CoreML团队）；Department of Mathematics Florida State University（佛罗里达州立大学数学系）；Department of Statistics Florida State University（佛罗里达州立大学统计系）
树集成是灵活的预测模型，可以捕获相关变量，并在某种程度上以紧凑和可解释的方式进行交互。大多数用于获得树集成的算法都基于boosting或Random Forest的版本。以前的工作表明，由于优化损失的方式，boosting算法表现出一次又一次选择同一棵树的循环行为。同时，随机森林不是基于损失优化，得到的模型更复杂，可解释性更差。在本文中，我们提出了一种新的方法来获得紧凑的树集成并行生长的树与许多独立的提升线程，然后选择一个小的子集，并更新其叶权重的损失优化。我们允许初始池中的树具有不同的深度，这进一步有助于泛化。在真实数据集上的实验表明，所获得的模型通常具有比boosting更小的损失，这也反映在测试集上更低的误分类错误上。
2020-02-20 cs.LG stat.ML
Generative Trees: Adversarial and Copycat
Google Research（谷歌研究院）
虽然生成对抗网络（GANs）在图像等非结构化数据上取得了惊人的结果，但在表格数据上仍然存在差距，最先进的监督学习仍然在很大程度上支持基于决策树（DT）的模型。本文提出了一种新的生成表格数据的方法，利用几十年来对DT归纳的监督任务最佳组件的理解，从损失（正确性），模型（基于树）到算法（提升）。监督损失的\textit{properness}条件-假设贝叶斯规则的最优性-使我们得到一个变分GAN风格的损失公式，当鉴别器满足DT平凡满足的校准属性时，它是\textit{tight}，并且在关于监督损失的常见假设下，生成器：$χ^2$产生“一个损失，以训练对抗所有人”。然后，我们介绍了基于树的生成模型，\textit{generative trees}（GT），这意味着在生成方面反映了DT用于分类表格数据的良好特性，并为GT提供了一个增强兼容的\textit{adversarial}训练算法。我们还介绍了\textit{copycat training}，其中生成器在运行时复制的底层树（图）的CDRDT和完成它的最难的判别任务，提高兼容的收敛。我们在任务上测试了我们的算法，包括假/真区分，假数据训练和缺失数据填补。这些任务中的每一个都表明，GT可以提供相对简单的-和可解释的-竞争者，以先进的数据生成方法（使用神经网络模型）或缺失数据填补（依赖于多重填补链式方程与复杂的基于树的建模）。
2022-02-11 cs.LG
MD tree: a model-diagnostic tree grown on loss landscape
Dartmouth College（达特茅斯学院）；Zhejiang University（浙江大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of St. Gallen（圣加仑大学）
本文提出基于损失景观度量的模型诊断树 MD tree，将模型失败来源预测形式化为分类问题，并在数据集迁移和规模迁移场景中显著优于传统基于验证的诊断方法。
2024-06-24 cs.LG stat.ML
Deep Hierarchical Knowledge Loss for Fault Intensity Diagnosis
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；School of Computer, Luoyang Institute of Science and Technology（洛阳理工学院计算机学院）；Frankfurt Institute for Advanced Studies（法兰克福先进研究 institute）；SAMSON AG（SAMSON公司）
本文提出深度层次知识损失框架，通过层次树损失和焦点层次树损失提升故障诊断的识别能力，实验表明在多个工业数据集上优于现有方法。
2026-04-08 cs.AI cs.CV cs.LG
Mitigating Information Loss in Tree-Based Reinforcement Learning via Direct Optimization
University of Mannheim（曼海姆大学）；Technical University of Clausthal（克劳斯塔尔工业大学）；University of Rostock（罗斯托克大学）
本文提出 SYMPOL，将基于树的模型与策略梯度方法结合，实现在线策略强化学习中可解释轴对齐决策树的端到端梯度学习，并在基准任务上验证其性能与可解释性优势。
2025-03-11 cs.LG
Breiman meets Bellman: Non-Greedy Decision Trees with MDPs
UMR 9189 - CRIStAL Université de Lille CNRS, Inria, Centrale Lille（UMR 9189 - CRIStAL 威廉王大学 CNRS、Inria、Centrale Lille）
本文提出动态规划决策树（DPDT）框架，通过马尔可夫决策过程与启发式分裂生成构建近最优决策树，在显著降低计算复杂度的同时实现优于 CART 和最优决策树的泛化性能。
2025-06-01 cs.LG
Discretization-free Multicalibration through Loss Minimization over Tree Ensembles
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；J.P. Morgan Chase AI Research（摩根大通AI研究）
本文提出一种免离散化的多校准方法，通过树集成上的经验风险最小化实现，并证明在损失饱和条件下有效，实验显示其性能匹配或优于现有方法。
2025-05-23 cs.LG
Beyond Kemeny Medians: Consensus Ranking Distributions Definition, Properties and Statistical Learning
本文提出了一种基于树结构的统计算法，用于在排名数据中逐步细化共识排名分布，通过Kendall距离优化变形，提升对称群上概率分布的学习效率。
2026-02-11 cs.LG stat.ML
Flexible Modeling and Multitask Learning using Differentiable Tree Ensembles
MIT（麻省理工学院）
决策树集成是一种应用广泛的竞争学习模型。尽管他们的成功，流行的学习树集成工具包有有限的建模能力。例如，这些工具包支持有限数量的损失函数，并且限于单任务学习。我们提出了一个灵活的框架学习树合奏，超越现有的工具包，以支持任意损失函数，丢失的响应，和多任务学习。我们的框架建立在可区分的（a.k.a.软）树集合，其可以使用一阶方法来训练。然而，与经典树不同，可微树很难缩放。因此，我们提出了一种新的基于张量的可微树公式，允许在GPU上进行有效的矢量化。我们在28个真正的开源和专有数据集上进行了实验，这表明我们的框架可以比流行的工具包更紧凑100倍，更具表现力的树集合。
2022-05-19 cs.LG stat.ML
The Universal $\ell^p$-Metric on Merge Trees
University at Albany, State University of New York (SUNY)（纽约州立大学奥尔巴尼分校）
适应Bjerkevik和Lesnick给出的多参数持久性模块的定义，我们引入了一个$\ell^p$型扩展的交织距离合并树。我们证明了我们的距离是一个度量，并且它上界了相关条形码之间的$p$ -Wasserstein距离。对于每一个$p\in[1,\infty]$，我们证明了这个距离对于细胞子级过滤是稳定的，并且它是通用的（即，最大）距离满足该稳定性属性。在$p=\infty$的情况下，这给出了合并树上交织距离的通用性的新证明。
2022-03-21 cs.CG cs.LG math.AT
Exploring Equality: An Investigation into Custom Loss Functions for Fairness Definitions
本文首次将 Group Accuracy Parity 框架应用于 COMPAS，通过定制损失函数和 Pareto 前沿分析，证明其在公平性与准确性之间取得了比传统公平性定义更好的平衡，同时指出算法改进之外还需法律和制度变革。
2025-01-03 cs.CY cs.LG
Boosted and Differentially Private Ensembles of Decision Trees
Data61（数据61中心）；the Australian National University（澳大利亚国立大学）
决策树（DT）分类器的提升集成在国际竞争中非常受欢迎，然而据我们所知，关于如何使它们成为\textit{also}差分私有（DP），还没有正式的知识，直到随机森林目前在DP阶段占据主导地位。我们的论文首先证明了DT的隐私与提升图片涉及一个显着和一般的技术权衡：对于任何适当的损失，敏感性往往会随着损失的提升率而增加。DT归纳算法从根本上是迭代的，我们的发现意味着非平凡的选择，选择或调整损失，以平衡噪声对效用分裂节点。为了解决这个问题，我们制定了一个新的参数化的适当的损失，称为M $α$ -损失，这，正如我们所示，允许微调的灵敏度与提升保证的完整频谱的权衡。然后，我们引入了\textit{objective calibration}作为一种方法，在DT诱导过程中自适应地调整权衡，以限制隐私预算的花费，同时正式能够以高概率在有限深度节点上保持符合提升的收敛。在19个UCI域上的广泛实验表明，即使在无DP设置中，客观校准也具有很强的竞争力。我们的方法往往非常显着击败随机森林，特别是在高DP制度（$\varepsilon \leq 0.1$），甚至与提升合奏包含十倍少的树，这可能是至关重要的保持DT模型的一个关键特征下差分隐私：可解释性。
2020-02-03 cs.LG stat.ML
