Hinge Regression Tree: A Newton Method for Oblique Regression Tree Splitting
School of Intelligence Science and Engineering（智能科学与工程学院）；Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen Key Lab for Advanced Motion Control and Modern Automation Equipments（深圳先进运动控制系统与现代自动化设备重点实验室）
本文提出Hinge回归树，将斜向分裂转化为非线性最小二乘问题，通过牛顿法实现快速收敛，并证明其模型类具有通用近似能力。
2026-04-30 cs.LG
Optimal Sparse Regression Trees
Duke University（杜克大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种基于动态规划与边界的方法构建可证明的最优稀疏回归树，利用1维k-Means聚类算法的新颖下界，在几秒内解决包含大量样本和高度相关特征数据集的优化问题。
2023-04-10 cs.LG
Interpretable Quantile Regression by Optimal Decision Trees
Euranova（埃鲁诺瓦）；Université Catholique de Louvain（列日天主大学）
本文提出一种新的方法，通过最优决策树学习完整条件分布预测，无需假设分布，并提供可解释的预测结果，同时保持算法效率。
2026-04-22 cs.LG
Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
UCI（加州大学欧文分校）
研究符号回归能否发现优于标准优化器的神经网络权重更新规则，通过固定深度符号表达式表示候选规则，在30个组合中25次找到更好规则，总均方误差降低44.47%，表明其可发现紧凑优化器变体但需大规模验证。
2026-07-27 cs.LG
Gradient Boosting With Piece-Wise Linear Regression Trees
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
梯度提升决策树（GBDT）是一种非常成功的集成学习算法，广泛应用于各种应用。最近，GBDT训练算法和实现的几个变体已经在一些非常流行的开源工具包中设计和大量优化，包括XGBoost，LightGBM和CatBoost。在本文中，我们表明，通过使用更复杂的基础学习器，可以进一步提高GBDT的准确性和效率。具体来说，我们扩展了梯度提升，使用分段线性回归树（PL树），而不是分段常数回归树，作为基本学习器。我们表明PL树可以加速GBDT的收敛，提高精度。我们还提出了一些优化技巧，以大大减少PL树的训练时间，而几乎不牺牲准确性。此外，我们提出了几种实现技术，以加快我们的算法在现代计算机体系结构与强大的单指令多数据（SIMD）并行。实验结果表明，GBDT与PL树可以提供非常有竞争力的测试精度相当或更少的训练时间。
2019-06-25 cs.LG
Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
University of Oregon（俄勒冈大学）
回归树（GBRT）是解决表格回归问题的一种非常流行的方法，但它不能提供不确定性的估计。我们提出了基于实例的不确定性估计的回归树（IBUG），一个简单的方法扩展任何GBRT点预测产生概率预测。IBUG使用$k$最近的训练实例计算预测周围的非参数分布，其中距离是用树集成内核测量的。IBUG的运行时间取决于集合中每个叶子上的训练样本的数量，并且可以通过采样树或训练实例来改进。从经验上讲，我们发现IBUG在22个基准回归数据集上实现了类似或更好的性能。我们还发现，IBUG可以通过使用不同的基础GBRT模型来实现改进的概率性能，并且可以比竞争方法更灵活地建模预测的后验分布。我们还发现，以前的方法在某些数据集上的概率校准较差，这可以使用在验证数据上调整的标量因子来缓解。源代码可在https://www.github.com/jjbrophy47/ibug上获得。
2022-10-10 cs.LG
CLARITree: Cholesky and Lookahead Accelerations for Regression with Interpretable Piecewise Linear Trees
Department of Computer Science, Duke University, Durham, USA（杜克大学计算机科学系，美国达勒姆）；Department of Computer Science, University of British Columbia, Vancouver, Canada（不列颠哥伦比亚大学计算机科学系，加拿大温哥华）
提出一种结合前瞻搜索和秩一Cholesky更新的算法，用于构建近最优稀疏分段线性回归树，在计算效率、预测精度和稀疏性之间取得良好平衡。
2026-06-12 cs.LG
Automated univariate time series forecasting with regression trees
Department of Computer Science, University of Jaén（计算机科学系，杰内大学）；Department of Statistics and Operations Research, University of Jaén（统计与运筹学系，杰内大学）
本文提出基于回归树及其集成方法的单变量时间序列自动预测方法，通过自回归和递归预测实现与传统统计模型相当的预测精度。
2026-01-21 cs.LG
Ensembles of Probabilistic Regression Trees
该研究提出概率回归树的集成方法，通过概率分配观测值实现目标函数的平滑近似，证明了其一致性并通过实验验证了偏差-方差特性与预测性能。
2024-06-20 cs.LG stat.ML
Smart IoT-Biofloc water management system using Decision regression tree
East Delta University（东三角洲大学）；Sejong University（世宗大学）
传统的渔业有几个困难：水污染、温度不稳定、营养、面积、费用等。在鱼类养殖中，Biofloc技术将传统养殖变成了一个复杂的基础设施，可以通过将剩余食物转化为细菌生物质来利用剩余食物。我们研究的目的是提出一种智能物联网Biofloc系统，以提高效率和生产。本文介绍了一种系统，该系统从传感器收集数据，将数据存储在云端，使用决策回归树模型等机器学习模型进行分析，预测水质状况，并通过Android应用程序提供实时监控。该系统在实验中达到了令人满意的79%的准确率。
2021-12-05 cs.LG
Evaluation of Tree Based Regression over Multiple Linear Regression for Non-normally Distributed Data in Battery Performance
电池性能数据集通常是非正态和多重共线性的。外推这些数据集进行模型预测需要注意这些特征。本研究探讨了数据正态性对构建机器学习模型的影响。在这项工作中，基于树的回归模型和多元线性回归模型分别建立了一个高度偏斜的非正态数据集与多重共线性和比较。有几种技术是必要的，如数据转换，以实现一个良好的多元线性回归模型与此数据集，最有用的技术进行了讨论。使用这些技术，最佳多元线性回归模型达到了R^2 = 81.23%，并且对于本研究中使用的数据集没有表现出多重共线性效应。基于树的模型在此数据集上表现更好，因为它们是非参数的，能够处理变量之间的复杂关系，并且不受多重共线性的影响。我们表明，装袋，在使用随机森林，减少过拟合。我们最好的基于树的模型达到了R^2 = 97.73%的准确率。这项研究解释了为什么基于树的回归承诺作为一个机器学习模型的非正态分布，多共线性数据。
2021-11-03 cs.AI cs.LG
Neural Regression Trees
Carnegie Mellon University（卡内基梅隆大学）
通过分类回归（Regression-via-Classification，RvC）是将回归问题转换为分类问题的过程。RvC的当前方法使用ad-hoc离散化策略并且是次优的。我们提出了一个RvC的神经回归树模型。在这个模型中，我们采用了一个联合优化框架，在这个框架中，我们学习最佳离散化阈值，同时优化树中每个节点的特征。我们通过在两个具有挑战性的回归任务上测试我们的模型，以实证的方式证明了我们模型的有效性，在这两个任务中，我们建立了最先进的技术。
2019-04-03 cs.LG stat.ML
Comparison of decision trees with Local Interpretable Model-Agnostic Explanations (LIME) technique and multi-linear regression for explaining support vector regression model in terms of root mean square error (RMSE) values
本文在5个数据集上比较决策树、LIME与多元线性回归对支持向量回归模型的解释能力，发现决策树在87%运行中RMSE更低且结果显著。
2024-04-10 cs.AI cs.LG
SMART: A Flexible Approach to Regression using Spline-Based Multivariate Adaptive Regression Trees
Northwestern University（西北大学）
针对决策树连续关系建模方差高、MARS不连续性建模效果差的问题，提出结合决策树与MARS的SMART方法，在相关场景下性能优于现有最优方法并提供开源实现。
2024-10-08 cs.LG stat.ML
Big Data Regression Using Tree Based Segmentation
Chennai Mathematical Institute（金奈数学研究所）
将回归扩展到大型数据集是许多应用领域中的常见问题。我们提出了一个两步的方法来扩展回归到大型数据集。使用回归树（CART）分割大数据集构成了这种方法的第一步。这种方法的第二步是为每个部分开发合适的回归模型。由于段的大小不是很大，如果需要，我们有能力应用复杂的回归技术。这种两步方法的一个很好的特点是，它可以产生具有良好解释能力和良好预测性能的模型。像梯度提升树这样的嵌入方法可以提供出色的预测性能，但可能无法提供可解释的模型。在本研究报告的实验中，我们发现所提出的方法的预测性能与梯度提升树的预测性能相匹配。
2017-07-25 cs.LG stat.ML
bartMachine: Machine Learning with Bayesian Additive Regression Trees
我们在R中提出了一个新的包，实现了贝叶斯加性回归树（BART）。该软件包引入了许多新的功能，数据分析使用BART，如变量选择，相互作用检测，模型诊断图，纳入缺失数据和能力，以保存树为未来的预测。它比当前的R实现快得多，并行化，并且能够处理大样本量和高维数据。
2014-11-24 cs.LG stat.ML
Regression Trees Know Calculus
Department of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究回归树在可微函数上的应用，发现可通过树学习库提供的量高效计算被逼近函数的局部梯度，使可微算法工具能应用于树基模型，提升预测分析、不确定性量化等能力。
2025-11-12 cs.LG stat.ML
A Comprehensive Approach to Universal Piecewise Nonlinear Regression Based on Trees
Bilkent University（比尔肯大学）
在本文中，我们研究自适应非线性回归，并引入树为基础的分段线性回归算法，是非常有效的，并提供显着改善的性能与保证上界在一个单独的序列方式。我们使用树的概念来划分嵌套结构中回归变量的空间。引入的算法不仅适应他们的回归函数，但也完整的树结构，同时实现的“最佳”的线性混合的双指数数量的分区的性能，与计算复杂性只有多项式的节点数的树。在构建这些算法时，我们还避免使用任何人工“加权”模型（具有高度数据依赖的参数），而是直接最小化最终回归误差，这是最终的性能目标。引入的方法是通用的，因此它们可以很容易地将不同的树构建方法（例如随机树）纳入其框架中，并且可以使用不同的回归函数或划分函数，如论文中所示。
2013-12-27 cs.LG stat.ML
Relational Boosted Regression Trees
University of Pittsburgh（匹兹堡大学）
许多任务使用关系数据库中的数据来训练增强回归树模型。在本文中，我们给了一个关系适应的贪心算法训练提升回归树。对于计算数据集的残差平方和的子问题，这占主导地位的提升算法的运行时间，我们提供了一个$(1 + ε)$近似使用张量草图技术。在关系提升回归树算法中使用这种近似可以学习类似的模型参数，但具有渐进更好的运行时间。
2021-07-25 cs.DB cs.DS cs.LG
Autocart -- spatially-aware regression trees for ecological and spatial modeling
Utah State University（犹他州立大学）
许多生态和空间过程在本质上是复杂的，不能用线性模型精确地模拟。回归树有望处理生态和空间数据集中存在的高阶相互作用，但无法产生物理上真实的底层景观特征。“autocart”（自相关回归树）R包通过空间感知分裂函数和每个终端节点中的新颖自适应逆距离加权方法扩展了先前提出的空间回归树方法的功能。这些autocart模型，包括随机森林的autocart扩展，在多个数据集上证明了其有效性。这突出了autocart在模拟空间变量之间复杂交互的同时仍然提供物理上逼真的景观表示的能力。
2021-01-20 cs.LG q-bio.QM
Uncertain Trees: Dealing with Uncertain Inputs in Regression Trees
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；University of Lorraine（洛林大学）；Institut Elie Cartan（埃利·嘉当研究所）；Ecole des Mines d’Alès（阿莱斯矿业学院）；TOTAL S.A.（道达尔公司）
基于树的集成方法，如随机森林和梯度提升树，已成功地用于回归在许多应用和研究。此外，这些方法已经被扩展，以处理输出变量的不确定性，例如使用随机森林中的分位数损失（Meinshausen，2006）。据我们所知，还没有提供扩展来处理输入变量中的不确定性，尽管这种不确定性在实际情况中很常见。我们在这里提出了这样的扩展，显示如何标准的回归树优化二次损失可以适应和学习，同时考虑到输入的不确定性。通过这样做，我们不再假设一个观测值位于回归树的单个区域中，而是假设它以一定的概率属于每个区域。在几个数据集上进行的实验说明了所提出的扩展的良好行为。
2018-11-18 cs.LG stat.ML
Efficient Regularized Piecewise-Linear Regression Trees
Zalando Research Lab（Zalando研究实验室）；University of Potsdam（波茨坦大学）
我们提出了一个详细的分析类的回归决策树算法，采用了正则化的分段线性节点分裂标准，并在树叶正则化的线性模型。从理论的角度来看，Rademacher复杂性框架的基础上，我们提出了新的高概率上界的泛化误差的建议类的正则化回归决策树算法，包括LASSO型，和$\ell_{2}$正则化的线性模型的叶子。通过考虑一般类型的变量选择过程，进一步扩展了理论结果。此外，在我们的工作中，我们证明了分段线性回归树的类不仅在数值上是稳定的，而且可以通过本文提出的算法实现以及现代GPU技术的帮助变得易于处理。从经验上讲，我们提出了多个数据集上的结果，突出了所提出的树算法的优势和潜在的缺陷，与基于分段常数模型生长树的基线相比。
2019-06-29 cs.LG stat.ML
Bayesian Additive Regression Trees with Model Trees
Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）；Maynooth University（梅努斯大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种基于树的机器学习方法，已成功应用于回归和分类问题。BART假设一组树上的正则化先验，这些树作为弱学习者工作，并且在存在非线性和高阶相互作用的情况下非常灵活地进行预测。在本文中，我们介绍了一个扩展的BART，称为模型树BART（MOTR-BART），认为分段线性函数在节点水平，而不是分段常数。在MOTR-BART中，不是在节点级别具有用于预测的唯一值，而是考虑已用作相应树中的分裂变量的协变量来估计线性预测器。在我们的方法中，局部线性更有效地捕获，需要更少的树，以达到相同或更好的性能比BART。通过模拟研究和实际数据的应用，我们比较MOTR-BART的主要竞争对手。MOTR-BART实现的R代码可在https://github.com/ebprado/MOTR-BART上获得。
2021-03-10 cs.LG stat.ML
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
基于树的集成，例如Breiman的随机森林（RF）和梯度提升树（GBT）可以被解释为隐式内核生成器，其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。最近，它已被证明，内核的解释是密切相关的其他基于树的合奏，如GBT。然而，内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成（包括RF和GBT）之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究，包括连续和二进制目标的性能和属性。我们表明，对于连续的目标，RF/GBT内核在高维场景中，特别是在具有大量噪声特征的情况下，与它们各自的合奏具有竞争力。对于二进制目标，RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果，以展示如何在实践中利用这些见解。总体而言，我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后，我们讨论了基于树集成的生存目标，可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
JSRT: James-Stein Regression Tree
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）；Meituan-Dianping（美团点评）
回归树在机器学习和数据采掘领域有着广泛的应用。给定用于预测的目标数据，在对每个叶节点进行预测之前，首先基于训练数据集构建回归树。在实践中，RT的性能在很大程度上依赖于在树构建/预测阶段来自单个节点的样本的局部均值，而忽略了来自不同节点的全局信息，这也起着重要的作用。为了解决这个问题，我们提出了一种新的回归树，命名为James-Stein回归树（JSRT），考虑来自不同节点的全局信息。具体来说，我们在构建/预测阶段结合了来自不同节点的基于James-Stein估计器的全局均值信息。此外，在均方误差（MSE）度量下，我们分析了该方法的泛化误差。在公共基准数据集上的大量实验验证了该方法的有效性和效率，并证明了该方法相对于其他RT预测方法的优越性。
2020-10-21 cs.LG stat.ML
Tree Search Network for Sparse Regression
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）
我们考虑经典的稀疏回归问题的恢复稀疏信号$x_0$给定的测量向量$y = Φx_0+w$。提出了一种基于深度神经网络的稀疏回归树搜索算法。TSN通过执行具有修剪的树搜索来提高为稀疏回归设计的深度神经网络的信号重构性能。在无噪声和有噪声的情况下都可以观察到，TSN恢复合成信号和真实信号的复杂度比传统的树搜索低，并且对于广泛用于稀疏回归的各种类型的感测矩阵$Φ$，TSN优于现有算法。
2019-04-01 cs.LG eess.SP stat.ML
Hash-Based Tree Similarity and Simplification in Genetic Programming for Symbolic Regression
Josef Ressel Centre for Symbolic Regression（约瑟夫·雷塞尔符号回归中心）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Johannes Kepler University（约翰内斯·开普勒大学）
本文介绍了一种运行时高效的树哈希算法，用于识别同构子树，在符号回归的遗传编程中有两个重要的应用：快速，在线计算种群多样性和符号表达式树的代数简化。基于这种散列方法，我们提出了一个简单的多样性保护机制与有前途的结果收集的符号回归基准问题。
2021-07-22 cs.LG cs.NE
On the Gaussian process limit of Bayesian Additive Regression Trees
本文推导并计算了精确的BART先验协方差函数，将其无限树极限实现为高斯过程回归，发现通过自然调整超参数可使其与标准BART竞争力相当，从而简化模型构建并避开复杂的MCMC算法。
2025-07-11 cs.LG stat.ML
On the Theory of Dynamic Graph Regression Problem
Amirkabir University of Technology（阿米尔卡比尔理工大学）
大多数真实世界的图形是动态的，即，它们通过一系列更新操作随时间改变。虽然回归问题已经研究了静态图和时间图，它没有研究一般的动态图。本文研究了动态图上的回归问题。首先，我们提出了更新有效矩阵嵌入的概念，它定义了一个矩阵嵌入有效地用于动态图回归（在l2范数下）的充分条件。然后，我们证明了给定n*m更新有效矩阵嵌入（例如，邻接矩阵），并且在图中进行更新操作之后，对于修正后的图，线性回归的精确最优解可以在O（nm）时间内更新。此外，我们表明，这也持有时，矩阵嵌入是拉普拉斯矩阵和更新操作仅限于边缘插入/删除。最后，通过在合成图和真实图上进行实验，我们展示了图回归解更新的高效率。
2022-10-07 cs.LG stat.ML
Measuring and Reducing Model Update Regression in Structured Prediction for NLP
The Chinese University of Hong Kong（香港中文大学）；Amazon AWS AI Labs（亚马逊AWS人工智能实验室）；University of Cambridge（剑桥大学）
深度学习的最新进展使得基于机器学习的NLP模型在广泛的应用中得到快速采用。尽管准确性不断提高，向后兼容性也是工业应用的一个重要方面，但它很少受到研究关注。向后兼容性要求新模型不会在其前身正确处理的情况下回归。本文研究了结构化预测任务中的模型更新回归。我们选择句法依存句法分析和会话语义解析作为NLP中结构化预测任务的典型例子。首先，我们测量和分析模型更新回归在不同的模型更新设置。接下来，我们探索和基准现有的技术，减少模型更新回归，包括模型集成和知识蒸馏。我们进一步提出了一个简单而有效的方法，向后一致重新排序（BCR），考虑到结构化预测的特点。实验结果表明，BCR比模型集成和知识蒸馏方法能更好地抑制模型更新回归。
2022-10-08 cs.AI cs.CL cs.LG
X-TREPAN: a multi class regression and adapted extraction of comprehensible decision tree in artificial neural networks
Chongqing University（重庆大学）
在这项工作中，TREPAN算法的增强和扩展提取决策树的神经网络。我们经验性地评估了一组数据库从现实世界中的事件的算法的性能。这种基准测试增强是通过采用单测试TREPAN和C4.5决策树归纳算法来分析数据集而实现的。然后将模型与X-TREPAN进行比较，以获得可理解性和分类准确性。此外，我们通过应用统计方法来验证实验。最后，将改进算法扩展到多类回归问题，并实现了对广义前馈网络的理解能力。
2015-08-30 cs.LG cs.NE
On Imbalanced Regression with Hoeffding Trees
University of Oklahoma（俄克拉荷马大学）
针对不平衡回归中的数据流问题，将核密度估计扩展到流式设置并集成层次收缩到增量决策树中，实验表明KDE能持续提升早期流性能。
2026-06-01 cs.AI cs.LG
Measure Inducing Classification and Regression Trees for Functional Data
Politecnico di Milano（米兰理工大学）
我们提出了一种基于树的算法，用于功能数据分析背景下的分类和回归问题，该算法允许在节点级别利用表示学习和多个分裂规则，减少泛化错误，同时保留树的可解释性。这是通过学习加权功能$L^{2}$空间的约束凸优化，然后用于提取多个加权积分功能的输入函数，以确定二进制分裂的树的每个内部节点。该方法被设计为通过定义合适的分裂规则和损失函数来管理多个函数输入和/或输出，所述分裂规则和损失函数可以取决于特定问题，并且还可以与标量和分类数据相结合，因为树是用原始贪婪CART算法生长的。我们专注于一维域上定义的标量值函数输入的情况下，并说明我们的方法在分类和回归任务的有效性，通过模拟研究和四个现实世界中的应用。
2020-10-30 cs.LG stat.ML
BooST: Boosting Smooth Trees for Partial Effect Estimation in Nonlinear Regressions
Columbia University（哥伦比亚大学）；Pontifical Catholic University of Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）；University of California, Irvine（加州大学尔湾分校）
在本文中，我们介绍了一种新的机器学习（ML）模型的非线性回归称为提升平滑过渡回归树（BooST），这是一个组合的提升算法与平滑过渡回归树。BooST模型的主要优点是可以估计非常一般的非线性模型的导数（部分效应）。因此，与其他基于树的模型（如随机森林）相比，该模型可以提供更多关于协变量和因变量之间映射的解释。我们提出了几个例子，模拟和真实的数据。
2020-07-28 cs.LG econ.EM stat.ME
Very fast Bayesian Additive Regression Trees on GPU
unifi（乌尼维斯大学）；Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)（统计与计算机科学应用系（DISIA））
针对BART运行慢的问题，提出GPU加速实现，速度提升高达200倍，与XGBoost竞争，并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Prediction with Missing Data via Bayesian Additive Regression Trees
The Wharton School of the University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
我们提出了一种方法，将缺失数据在非参数统计学习，而不需要填补。我们专注于一个基于树的方法，贝叶斯加法回归树（BART），增强了“Missingness Incorporated in Attributes”，最近提出的一种方法将missingness纳入决策树（Twala，2008）。这个过程利用了基于树的模型中的分区机制。仿真生成的模型和实际数据表明，我们提出的方法可以很好地预测复杂的失踪在随机和非失踪在随机模型，以及失踪本身影响响应的模型。我们的程序具有更高的预测性能，在许多情况下比竞争对手更稳定。我们还说明了巴士的能力，将缺失到不确定性区间，并检测缺失的模型拟合的影响。
2014-02-12 cs.LG stat.ML
Stability of decision trees and logistic regression
Macedonian Academy of Sciences and Arts（马其顿科学艺术院）；Temple University（天普大学）
决策树和逻辑回归是最流行和最知名的机器学习算法之一，经常用于解决各种现实问题。学习算法的稳定性是分析其性能和灵敏度的有力工具，从而使研究人员能够得出可靠的结论。这两个算法的稳定性仍然是模糊的。为此，在本文中，我们推导出两个稳定性概念的决策树和逻辑回归：假设和逐点假设稳定性。此外，我们推导出L2正则化逻辑回归的这些概念，并证实了现有的研究结果，它是一致稳定的。我们证明了决策树的稳定性依赖于树中叶子的数量，即，它的深度，而对于逻辑回归，它取决于交叉熵损失的Hessian矩阵的最小特征值。我们证明了逻辑回归不是一个稳定的学习算法。我们构造的上界的泛化误差的所有三种算法。此外，我们提出了一个新的稳定性测量框架，允许一个测量上述概念的稳定性。这些措施相当于在一个输入示例中对预期损失差异的估计，然后利用自助抽样来产生统计上可靠的估计。最后，我们将这个框架应用到本文分析的三种算法中，以证实我们的理论研究结果，此外，我们还讨论了开发新的训练技术来优化逻辑回归的稳定性，从而降低其泛化误差的可能性。
2019-03-03 cs.LG stat.ML
Optimal spanning tree reconstruction in symbolic regression
本文研究符号回归中的回归模型生成问题，提出基于prize-collecting Steiner tree算法从加权着色图重构最小生成树以生成最优模型，并与替代方案进行了比较。
2024-06-25 cs.LG stat.ML
Regression Trees and Random forest based feature selection for malaria risk exposure prediction
Université d’Abomey-Calavi（阿波美卡拉维大学）；Université Paris 1 Panthéon Sorbonne（巴黎第一大学（先贤祠-索邦大学））
本文讨论了利用环境和气候变量预测疟疾风险的主要媒介按蚊数量。变量的选择是基于一个自动的机器学习方法，使用回归树，随机森林结合分层两级交叉验证。使用变量重要性的二次距离来访问变量重要性的最小阈值，同时使用所选变量的最优子集来执行预测。最后，结果显示，在选择，预测和CPU时间的观点比GLM-Lasso方法得到的定性更好。
2016-06-24 cs.LG stat.ML
Handling Missing Data in Probabilistic Regression Trees
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
本文扩展PRTree框架，提出三种处理缺失数据的策略，经多数据集验证，所提方法在缺失比例高时优于CART，且保留树模型的可解释性与灵活性。
2026-08-07 cs.LG stat.ML
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong（香港城市大学）；Arizona State University（亚利桑那州立大学）
本文提出了一种新的随机树集成方法，用于非线性回归，我们称之为XBART，简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合，新方法获得了最先进的性能：在许多设置中，它比广泛使用的XGBoost算法更快，更准确。通过仔细的模拟研究，我们证明了我们的新方法提供了平均函数的精确逐点估计，并且比流行的替代方案（如BART，XGBoost和神经网络（使用Keras））更快。我们还证明了一些基本的理论结果，包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外，我们表明，初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗（MCMC）在XBART拟合树大大提高了可信区间覆盖率，减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对轴对齐BART的局限，提出基于线性组合的斜BART方法，利用数据自适应先验沿随机超平面递归划分特征空间，实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
Efficient Decision Trees for Tensor Regressions
Department of Statistics, Rice University（里士大学统计系）；Computational Research Division, Lawrence Berkeley National Laboratory（伯克利国家实验室计算研究部）；Department of Statistics, University of California Davis（加州大学戴维斯分校统计系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文提出张量输入树（TT）方法，通过快速算法和树集成，高效解决标量对张量和张量对张量回归问题，并在真实与合成数据上验证了其性能。
2025-07-08 cs.LG stat.ME stat.ML
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research（百度研究院）
在这项工作中，我们证明了pGMM（“动力广义最小-最大”）内核的（岭）回归的背景下的优势。在最近的先前研究中，pGMM内核已被广泛评估用于分类任务，用于逻辑斯谛回归，支持向量机以及深度神经网络。本文对岭回归进行了实验研究，将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是，即使没有调谐参数（即，$p=1$用于pGMM内核的功率参数），pGMM内核已经表现良好。此外，通过调优参数$p$，这个（看似简单的）pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务，通常，从业者使用$L_2$ boost，即，用于最小化$L_2$损失。有时出于鲁棒性的目的，可能会选择$L_1$增强。在本研究中，我们为$p\geq 1$实现了$L_p$ boost，并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是，最好的性能（在$L_2$回归损失方面）通常在$p>2$，在某些情况下在$p\gg 2$获得。Li等人（UAI 2010）已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之，$L_p$ boost的实现为从业者提供了额外的灵活性，可以调整boosting算法，从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Gradient tree boosting with random output projections for multi-label classification and multi-output regression
University of Liège（列日大学）
在监督学习的许多应用中，必须联合预测多个分类或回归输出。我们考虑几个扩展的梯度提升来解决这些问题。我们首先提出了一个简单的适应梯度提升利用多个输出回归树作为基本学习者。然后，我们认为，这种方法预计只有在输出完全相关时才是最优的，因为它迫使树基学习器引起的分区被所有输出共享。然后，我们提出了一种新的梯度树提升扩展来专门解决这个问题。在这种新方法的每次迭代中，生长回归树结构以拟合当前残差的单个随机投影，并且该树的预测独立地线性拟合所有输出的当前残差。由于这种线性拟合，该方法可以自动适应任何输出相关结构。用这种方法进行了广泛的实验，以及其他算法的变种，在几个人工和真实的问题。随机投影的输出空间，以提供一个更好的适应不同的输出相关模式，因此在大多数情况下，最好的其他方法的竞争力。由于模型共享，收敛速度也得到了提高，减少了计算时间（或模型的复杂性），以达到特定的精度。
2019-05-18 cs.LG stat.ML
Wind ramp event prediction with parallelized Gradient Boosted Regression Trees
Indian Institute of Technology（印度理工学院）；Deakin University（迪肯大学）
准确预测风变事件对于保证高风能渗透率电力系统的可靠性和稳定性至关重要。本文提出了一种基于分类的方法来估计未来类的风斜坡事件的基础上一定的阈值。提出了一种基于并行化梯度提升回归树的技术，用于准确分类正常和罕见的极端风力发电斜坡事件。该模型已得到验证，使用风力发电数据从国家可再生能源实验室数据库。与几个基准技术的性能比较表明，所提出的技术在优越的分类精度方面的优越性。
2016-10-17 cs.AI cs.LG
Particle Gibbs for Bayesian Additive Regression Trees
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
加法回归树是一种灵活的非参数模型，也是现实世界中非线性回归的常用工具。在应用领域，如生物信息学，也有需求的概率预测与不确定性的措施，贝叶斯加性回归树（BART）模型，介绍了Chipman等人。（2010），越来越受欢迎。然而，随着数据集规模的增长，用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地，这些马尔可夫链对树进行局部改变，并且当数据是高维的或者最佳拟合树超过几层深度时，遭受缓慢混合。我们提出了一种基于粒子吉布斯（PG）算法的BART新采样器（Andrieu等人，2010）和用于贝叶斯决策树的自上而下的粒子滤波算法（Lakshminarayanan等人，2013年）。PG采样器不是对单个树进行局部更改，而是提出一个完整的树来拟合残差。实验表明，PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
Classification of the Chess Endgame problem using Logistic Regression, Decision Trees, and Neural Networks
King Saud University（沙特国王大学）
在这项研究中，我们使用不同的算法，如逻辑回归，决策树和神经网络的国际象棋残局问题的分类。我们的实验表明，神经网络提供了最好的准确性（85%），然后决策树（79%）。我们使用Microsoft Azure机器学习进行了这些实验，作为在分类中使用可视化编程的案例研究。我们的实验表明，这个工具是强大的，节省了大量的时间，也可以改进更多的功能，提高可用性和减少学习曲线。我们还使用一种新的程序设计语言Ring开发了一个数据集可视化的应用程序，实验表明，该语言具有Python的简单设计，同时集成了Visual Basic的RAD工具，这对于开源世界的GUI开发很有帮助
2021-11-10 cs.AI cs.LG
XBART: Accelerated Bayesian Additive Regression Trees
University of Chicago（芝加哥大学）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian additive regression trees，BART）（Chipman et.例如，2010）是一个强大的预测模型，在样本外预测方面往往优于其他模型。BART特别适合于具有非结构化预测变量和大量不可测量变化来源的环境，这在社会，行为和健康科学中是典型的。本文提出了一种改进的BART算法，它可以进行快速后验估计。我们提出了一个随机爬山算法，匹配显着的预测精度以前的BART实现，但速度快了很多倍，内存密集度低。仿真研究表明，新方法在计算时间上与随机森林和梯度提升方法相当，在函数估计上更准确。
2019-03-14 cs.LG stat.ML
A consistent deterministic regression tree for non-parametric prediction of time series
EDF R&D（法国电力研发中心）；GREGHEC (HEC Paris, CNRS)（GREGHEC（巴黎高等商学院、法国国家科学研究中心））；Inria（法国国家信息与自动化研究所）
我们研究有界平稳遍历过程的在线预测。要做到这一点，我们考虑设置的预测个别序列，并建立一个确定性的回归树，执行渐近以及最好的L-Lipschitz常数预测。然后，我们证明了为什么所得到的遗憾界需要关于有界平稳遍历过程类的渐近最优性。
2014-05-08 cs.LG math.ST stat.ML
Soft regression trees: a model variant and a decomposition training algorithm
Politecnico di Milano（米兰理工大学）
提出一种软多变量回归树变体及其分解训练算法，通过条件计算与聚类初始化实现高效训练，在15个数据集上展现出更高准确性、鲁棒性及显著降低的训练时间。
2025-01-27 cs.LG math.OC
Online Multi-target regression trees with stacked leaf models
University of São Paulo（圣保罗大学）；State University of Londrina（隆德里纳州立大学）
当前机器学习面临的挑战之一是如何处理数据流中以越来越高的速率出现的数据。需要新的预测学习策略来应对高吞吐量数据和概念漂移。其中一个需要新的学习策略的数据流挖掘任务是多目标回归，因为它适用于大量的现实问题。虽然已经提出了可靠和有效的学习策略，批量多目标回归，很少有人提出多目标在线学习数据流。此外，大多数现有的解决方案在进行预测时不考虑目标间相关性的发生。在这项工作中，我们提出了一种新的在线学习策略的多目标回归数据流。该策略扩展了现有的在线决策树学习算法，以探索目标间的依赖关系，同时进行预测。为此，所提出的策略，称为堆叠单目标Hoeffding树（SST-HT），使用目标间的依赖关系作为一个额外的信息源，以提高预测精度。在整个广泛的实验设置，我们评估我们的建议对国家的最先进的决策树为基础的算法在线多目标回归。根据实验结果，SST-HT提出了优越的预测精度，在处理时间和内存需求的小增加。
2020-03-10 cs.LG stat.ML
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Ohio State University（俄亥俄州立大学）
本文提出随机化分片贝叶斯加性回归树（SBT），通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型，并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
RS-ORT: A Reduced-Space Branch-and-Bound Algorithm for Optimal Regression Trees
Department of Industrial and Management Systems Engineering（工业与管理系统工程系）；University of South Florida（佛罗里达州立大学）
针对现有回归树MIP方法处理连续大规模数据的难题，提出仅在树结构变量分支的RS-ORT分支定界算法，结合多种界收紧技术与并行策略，在百万级数据集上实现更优性能与泛化能力。
2025-10-27 cs.AI cs.LG
