XBART: Accelerated Bayesian Additive Regression Trees
University of Chicago(芝加哥大学);Arizona State University(亚利桑那州立大学)
贝叶斯加性回归树(Bayesian additive regression trees,BART)(Chipman et.例如,2010)是一个强大的预测模型,在样本外预测方面往往优于其他模型。BART特别适合于具有非结构化预测变量和大量不可测量变化来源的环境,这在社会,行为和健康科学中是典型的。本文提出了一种改进的BART算法,它可以进行快速后验估计。我们提出了一个随机爬山算法,匹配显着的预测精度以前的BART实现,但速度快了很多倍,内存密集度低。仿真研究表明,新方法在计算时间上与随机森林和梯度提升方法相当,在函数估计上更准确。
2019-03-14 cs.LG stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对轴对齐BART的局限,提出基于线性组合的斜BART方法,利用数据自适应先验沿随机超平面递归划分特征空间,实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
GS-BART: Bayesian Additive Regression Trees with Graph-split Decision Rules
GS-BART提出一种基于图分裂规则的贝叶斯加性决策树方法,通过编码图拓扑信息并设计可扩展MCMC算法,在空间和网络数据回归与分类中优于传统集成树和高斯过程模型。
2025-09-08 stat.ME
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树(BART)模型作为一种通用的非参数建模技术,近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合,它已被证明是唯一适合解决许多科学领域(包括医学和社会科学)中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang(2018)的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外,该软件包的主要目标是促进将BART纳入更大的模型中,使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务,以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
BART: Bayesian additive regression trees
我们开发了一个贝叶斯“树的总和”模型,其中每棵树都受到正则化的约束,然后成为一个弱学习者,拟合和推理是通过迭代贝叶斯反拟合MCMC算法来完成的,该算法从后验中生成样本。实际上,BART是一种非参数贝叶斯回归方法,它使用维度自适应随机基元素。受总体方法的启发,特别是增强算法,BART由统计模型定义:先验和似然。这种方法能够实现完整的后验推断,包括未知回归函数的点和区间估计以及潜在预测因子的边际效应。通过跟踪预测因子包含频率,BART也可以用于无模型变量选择。BART的许多功能说明了一个烘烤小康对竞争的方法对42个不同的数据集,模拟实验和药物发现分类问题。
2010-10-07 stat.AP stat.ME stat.ML
Very fast Bayesian Additive Regression Trees on GPU
unifi(乌尼维斯大学);Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)(统计与计算机科学应用系(DISIA))
针对BART运行慢的问题,提出GPU加速实现,速度提升高达200倍,与XGBoost竞争,并开源在bartz包中。
2026-11-10 cs.LG stat.ML
BARTSIMP: flexible spatial covariate modeling and prediction using Bayesian additive regression trees
针对空间统计预测中现有方法难以兼顾协变量非线性建模与可靠不确定性估计的问题,提出结合高斯过程与BART的BARTSIMP方法,通过MCMC与INLA结合降本,经模拟和肯尼亚人体测量数据验证有效。
2025-02-21 stat.ME stat.ML
Accounting for shared covariates in semi-parametric Bayesian additive regression trees
School of Mathematical Sciences, Lancaster University, United Kingdom.;Hamilton Institute, Maynooth University, Co. Kildare, Ireland.;Department of Mathematics \& Statistics, Maynooth University, Co. Kildare, Ireland.;Insight Centre for Data Analytics, Maynooth University, Co. Kildare, Ireland.;Department of Mathematics \& Statistics, Lancaster University, United Kingdom.
本文提出了一种改进的半参数化贝叶斯加法回归树方法,通过处理共享协变量的偏差和非识别问题,以更准确地建模复杂交互作用。
2024-07-30 cs.LG stat.ML
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University(汉密尔顿研究所,梅努斯大学);Maynooth University(梅努斯大学)
本文提出 HE-BART,通过在回归树终端节点嵌入随机效应,构建无需预设随机效应结构的非参数混合效应建模方法,并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
Probit Monotone BART
Department of Statistics, Brigham Young University(统计学系, Brigham Young大学)
针对二元结果变量下的单调函数估计需求,该研究提出probit monotone BART方法,拓展了Monotone BART框架的适用场景,可用于二元结果的条件均值函数估计。
2025-08-29 cs.LG stat.CO stat.ME
Bayesian additive regression trees and the General BART model
本教程详细介绍了贝叶斯加性回归树(BART)的原理与组件,并提出了 General BART 模型框架,统一了半参数模型等扩展,展示了将其应用于超越原始独立连续或二元结果框架的研究问题的简单方法。
2019-01-22 stat.AP
Functional BART with Shape Priors: A Bayesian Tree Approach to Constrained Functional Regression
The University of Texas Health Science Center at Houston(德克萨斯大学健康科学中心休斯顿分校);Beijing Technology and Business University(北京工商大学);Beijing Normal-Hong Kong Baptist University(香港中文大学(深圳))
提出函数BART(FBART),一种用于函数回归的贝叶斯树方法,支持形状约束,并具有后验收敛速率保证,在模拟和真实数据上优于现有方法。
2026-09-17 stat.ME stat.ML
Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity
我们将异方差贝叶斯加性回归树(BART)建模的误差方差参数的对数作为一个线性函数的预先指定的协变量。在该方案下,原始树和模型的吉布斯抽样过程很容易修改,方差模型的参数通过Metropolis-Hastings步骤更新。我们证明了我们的方法的承诺,提供更适当的后验预测区间比homoskedastic BART在异方差设置,并证明了该模型的抗过拟合。我们的实现将在即将发布的R包bartMachine中提供。
2014-02-21 stat.ME
Nonparametric competing risks analysis using Bayesian Additive Regression Trees (BART)
许多至事件发生时间研究因存在竞争风险而变得复杂。通常使用Cox模型分析这些数据的原因特异性风险函数,或使用Fine-Gray模型分析子分布风险。在实践中,采用任一策略的竞争风险数据中的回归关系通常很复杂,可能包括协变量的非线性函数、相互作用、高维参数空间和非比例原因特异性或子分布危害。模型指定错误会导致预测性能不佳。为了解决这些问题,我们提出了一种新的方法,灵活的预测建模的竞争风险数据使用贝叶斯加性回归树(BART)。我们研究了在两个样本的情况下,以及一个复杂的回归设置的模拟性能,并基准测试其性能对标准的回归技术,以及随机生存森林。我们在最近发表的一项针对接受造血干细胞移植的患者的研究中说明了所提出的方法的使用。
2018-06-29 stat.AP stat.ME
Visualizations for Bayesian Additive Regression Trees
基于树的回归和分类已经成为现代数据科学中的标准工具。贝叶斯加性回归树(BART)由于其在处理相互作用和非线性效应方面的灵活性而特别受到广泛欢迎。BART是一种基于贝叶斯树的机器学习方法,可应用于回归和分类问题,并且与其他预测模型相比,可以产生有竞争力或更优越的结果。作为贝叶斯模型,BART允许从业者通过后验分布探索预测的不确定性。在本文中,我们提出了新的可视化技术,探索BART模型。我们构建传统的图来分析模型的性能和稳定性,并创建新的基于树的图来分析变量的重要性,相互作用和树结构。我们采用值抑制不确定性调色板(Veste)来构建热图,该热图使用色标来表示后验不确定性,从而共同显示变量的重要性和相互作用。我们的新可视化设计可与最流行的BART R软件包一起使用,即BART,dbarts和bartMachine。我们的方法是在R包bartMan(BART模型分析)中实现的。
2022-09-11 stat.CO
Density Regression with Bayesian Additive Regression Trees
对整个密度如何随协变量变化进行建模是均值和分位数回归的重要但具有挑战性的推广。现有的密度回归方法主要包括协变量依赖的离散混合模型,我们考虑了一个连续的潜变量模型,我们称之为DR-BART。通过贝叶斯加性回归树(BART)的一个新的应用构建的先验映射的潜变量的观察数据。我们证明了我们的模型引起的后验集中在足够光滑的真实生成函数周围。我们还分析了DR-BART在一组具有挑战性的模拟示例上的性能,在这些示例中,它优于贝叶斯密度回归的各种其他方法。最后,我们将DR-BART应用于来自教育测试和经济学的两个真实数据集,以研究学生的成长并预测教育回报。我们提出的采样器是有效的,并允许一个利用巴士的灵活性,在许多应用设置的整个分布的响应是主要的利益。此外,我们的计划在BART内的潜变量的分裂有利于其未来的应用程序,可以通过潜变量,如涉及层次或时间序列数据描述的其他类别的模型。
2021-12-22 stat.ME
Heteroscedastic BART Using Multiplicative Regression Trees
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)作为一种灵活的、可扩展的非参数回归方法,在解决现代应用统计学问题中得到了越来越广泛的应用。对于处理大型和复杂的非线性响应面的从业者来说,它的优点包括无矩阵公式和不需要预先指定限制回归基础。虽然在拟合均值方面灵活,但BART受到其对恒定方差误差模型的依赖的限制。这种同方差假设在许多应用中是不现实的。缓解这一限制,我们提出了HBART,一个非参数异方差的阐述BART。在BART,平均函数建模与树的总和,其中每一个确定一个添加剂的平均值的贡献。在HBART中,方差函数进一步用树的乘积建模,每个树确定对方差的乘法贡献。与均值模型一样,这种灵活的多维方差模型是完全非参数的,不需要预先指定限制基础。此外,通过这种增强,HBART可以深入了解预测因子与均值和方差的潜在关系。HBART的实际实施与揭示新的诊断图展示了二手车价格,渔获物生产和酒精消费的模拟和真实数据。
2018-07-09 stat.ME
Co-data Learning for Bayesian Additive Regression Trees
Amsterdam Public Health Research Institute(阿姆斯特丹公共卫生研究所);Amsterdam University Medical Centers(阿姆斯特丹大学医学中心);Cancer Center Amsterdam(阿姆斯特丹癌症中心)
针对医学预测中小样本高维协变量的难题,提出融入协数据的贝叶斯加性回归树经验贝叶斯框架,可同时处理多类协数据、估计超参数,仿真和淋巴瘤预后应用均验证了其变量选择和预测性能优势。
2024-11-03 cs.LG stat.ML
Bayesian Additive Regression Trees using Bayesian Model Averaging
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种统计和树模型。它可以被认为是机器学习树集成方法的贝叶斯版本,其中各个树是基本学习者。然而,对于其中变量$p$的数量很大的数据集(例如,$p>5,000$),该算法在计算上可能变得过于昂贵。另一种用于高维数据的流行方法是随机森林,这是一种机器学习算法,它使用贪婪搜索最佳分裂点来生长树。然而,由于它不是一个统计模型,它不能产生概率估计或预测。我们提出了一种替代算法BART称为BART-BMA,它使用贝叶斯模型平均和贪婪的搜索算法来产生一个模型,这是更有效的比BART的数据集与大$p$。BART-BMA结合了BART和随机森林的元素,提供了一个基于模型的算法,可以处理高维数据。我们已经发现,BART-BMA可以在一个合理的时间内运行在一个标准的笔记本电脑上的“小$n$大$p$“的情况下,这是常见的许多领域的生物信息学。我们使用模拟数据和来自两个真实蛋白质组学实验的数据展示了这种方法;一个是区分心血管疾病患者和对照组,另一个是将侵袭性前列腺癌与非侵袭性前列腺癌进行分类。我们将我们的结果与他们的主要竞争对手进行比较。用R和Rcpp编写的运行BART-BMA的开源代码可以在以下网站找到:https://github.com/BelindaHernandez/BART-BMA.git
2015-07-08 stat.CO stat.ME
Generative Regression with IQ-BART
本文提出IQ-BART方法,通过BART先验建模条件分位数函数并利用检查损失似然进行非参数贝叶斯推断,实现灵活的无分布生成式回归,能够捕捉预测分布中的多模态性。
2025-07-05 stat.ME stat.ML
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树(BART),包括多项逻辑斯谛回归和计数回归,其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而,现有的应用程序的BART已被限制为高斯“数据”,无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是,虽然许多有用的模型是自然铸造的潜在高斯变量,许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略,并仔细指定这些新模型的先验分布。像原来的BART先验一样,新的先验分布经过精心构造和校准,在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
flexBART: Flexible Bayesian regression trees with categorical predictors
针对传统BART独热编码分类预测变量导致划分受限的问题,提出可将多水平分配到节点两分支的flexBART,并新增空间数据决策规则先验,提升了预测性能与大数据扩展性。
2024-08-12 stat.ME stat.ML
Quantifying uncertainty of individualized treatment effects in right-censored survival data: A comparison of Bayesian additive regression trees and causal survival forest
本文通过广泛的模拟研究,比较了在右删失生存数据中量化个体化处理效应不确定性时,贝叶斯加性回归树(BART)和因果生存森林(CSF)的区间估计覆盖率,发现BART在三种设置下均优于CSF。
2025-04-06 stat.AP stat.ME
Generalized Bayesian Additive Regression Trees: Theory and Software
University of South Carolina(南卡罗来纳大学)
本文提出广义贝叶斯树框架,适用于指数族响应变量的非线性回归,理论证明其后验收敛性,并提供Python/R软件实现多种分布模型。
2026-03-23 math.ST stat.ML stat.TH
Local Gaussian process extrapolation for BART models with applications to causal inference
贝叶斯加性回归树(BART)是一种半参数回归模型,在样本外预测方面提供了最先进的性能。尽管取得了这一成功,但BART的标准实现通常在训练数据范围之外的点处提供不准确的预测和过窄的预测区间。提出了一种新的外推策略,将高斯过程移植到BART中的叶节点,用于预测观测数据范围之外的点。新方法相比,标准的BART实现和最近的频率重采样为基础的预测推理方法。我们将新的方法应用到一个具有挑战性的问题,从因果推断,其中对于预测空间的某些区域,只观察到治疗或未治疗的单位(但不是两者)。在仿真研究中,新方法与流行的替代方案(如Jackknife+)相比具有更优越的性能。
2023-02-24 econ.EM stat.CO stat.ME
BART-based inference for Poisson processes
Imperial College London(伦敦帝国学院)
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)的有效性已经在包括非参数回归和分类在内的各种环境中得到了证明。提出了一种估计非齐次Poisson过程强度的BART格式。泊松强度估计在医学成像、天体物理学和网络流量分析等应用中是一项重要的任务。新的方法使完整的后验推断的强度在非参数回归设置。新方案的性能证明通过模拟研究的合成和真实数据集高达五个维度,并与替代方法的新方案进行了比较。
2022-11-12 cs.LG math.ST stat.TH
Prediction with Missing Data via Bayesian Additive Regression Trees
The Wharton School of the University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
我们提出了一种方法,将缺失数据在非参数统计学习,而不需要填补。我们专注于一个基于树的方法,贝叶斯加法回归树(BART),增强了“Missingness Incorporated in Attributes”,最近提出的一种方法将missingness纳入决策树(Twala,2008)。这个过程利用了基于树的模型中的分区机制。仿真生成的模型和实际数据表明,我们提出的方法可以很好地预测复杂的失踪在随机和非失踪在随机模型,以及失踪本身影响响应的模型。我们的程序具有更高的预测性能,在许多情况下比竞争对手更稳定。我们还说明了巴士的能力,将缺失到不确定性区间,并检测缺失的模型拟合的影响。
2014-02-12 cs.LG stat.ML
Particle Gibbs for Bayesian Additive Regression Trees
University College London(伦敦大学学院);University of Toronto(多伦多大学);University of Oxford(牛津大学)
加法回归树是一种灵活的非参数模型,也是现实世界中非线性回归的常用工具。在应用领域,如生物信息学,也有需求的概率预测与不确定性的措施,贝叶斯加性回归树(BART)模型,介绍了Chipman等人。(2010),越来越受欢迎。然而,随着数据集规模的增长,用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地,这些马尔可夫链对树进行局部改变,并且当数据是高维的或者最佳拟合树超过几层深度时,遭受缓慢混合。我们提出了一种基于粒子吉布斯(PG)算法的BART新采样器(Andrieu等人,2010)和用于贝叶斯决策树的自上而下的粒子滤波算法(Lakshminarayanan等人,2013年)。PG采样器不是对单个树进行局部更改,而是提出一个完整的树来拟合残差。实验表明,PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
Bayesian additive regression trees for probabilistic programming
本文将BART作为概率编程中的可组合原语,介绍通过扩展PyMC实现的Python库PyMC-BART,并给出建模示例、超参数建议及局限与未来方向。
2023-08-15 stat.CO
Seeing the Forest for the Trees: The Gaussian Process Limit of BART
Pennsylvania State University(宾夕法尼亚州立大学);Yale University(耶鲁大学)
本文研究树数量趋向无穷时BART的行为,证明其收敛到特定高斯过程,引入随机树特征作为近似并证明其岭回归达极小极大最优学习率,兼具计算优势与更广适用性。
2026-09-02 math.ST stat.ME stat.ML
BART with Targeted Smoothing: An analysis of patient-specific stillbirth risk
本文介绍了BART与目标平滑,或tsBART,一个新的贝叶斯树为基础的模型非参数回归。tsBART的目标是在单个目标协变量t上引入平滑度,而不一定要求在其他协变量x上的平滑度。TsBART基于贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)模型,一种回归树的集合。TsBART通过使用t的平滑函数而不是独立标量来参数化每个树的终端节点来扩展BART。与BART一样,tsBART捕捉预测变量之间复杂的非线性关系和相互作用。但与BART不同,tsBART保证响应曲面在目标协变量中是平滑的。这提高了可解释性,并有助于正则化估计。在介绍和基准测试tsBART模型后,我们将其应用于我们的激励示例:来自国家卫生统计中心的妊娠结局数据。我们的目的是根据母亲和胎儿的风险因素(x),提供不同胎龄(t)的死胎风险的患者特异性估计值。产科医生预计死胎风险随胎龄平稳变化,但不一定随其他协变量变化,tsBART的设计正是为了反映这种结构性知识。我们的分析结果显示了tsBART模型在量化死产风险方面的明显优势,从而为患者和医生提供了更好的信息来管理围产期死亡率的风险。这里描述的所有方法都在R包tsbart中实现。
2019-06-03 stat.ME
Parallel Bayesian Additive Regression Trees
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种灵活的非线性回归的贝叶斯方法,已被证明与最好的现代预测方法(如基于Bagging和Boosting的方法)竞争。BART提供了一些优势。例如,随机搜索马尔可夫链蒙特卡罗(MCMC)算法可以提供对模型空间的更完整的搜索,并且MCMC绘制之间的变化可以以通常的贝叶斯方式捕获不确定性水平。BART先验是稳健的,因为通常使用默认先验规范获得合理的结果。然而,在R软件包BayesTree中公开的BART算法的实现速度不够快,不能被认为是与超过一千个观察结果交互的,甚至不太可能运行50,000到100,000个观察结果。在本文中,我们将展示如何BART算法可能会被修改,然后计算使用单程序,多数据(SPMD)并行计算实现的消息传递接口(MPI)库。该方法在处理器内核的数量上几乎线性地扩展,使从业者能够对大量数据集执行统计推断。我们的方法还可以处理太大而无法容纳在任何单个数据存储库中的数据集。
2013-09-07 stat.CO
Using BART to Perform Pareto Optimization and Quantify its Uncertainties
The Ohio State University(俄亥俄州立大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
减少工业生态系统能源负担的技术通常需要解决多目标优化问题。然而,收集实验数据通常是昂贵或耗时的。在这种情况下,统计方法可能会有所帮助。本文提出了使用贝叶斯加性回归树(BART)的Pareto Front(PF)和Pareto Set(PS)估计方法,BART是一种非参数模型,其假设通常比流行的替代方案(如高斯过程(GP))限制较少。这些限制较少的假设允许BART处理GP难以处理的场景(例如,高维输入空间,非平滑响应,大型数据集)。我们的BART为基础的方法的性能进行比较,GP为基础的方法,使用分析测试功能,表现出令人信服的优势。最后,我们的基于BART的方法被应用到一个激励工程问题。本文的补充材料,包括定理证明、算法和R代码,都可以在网上找到。
2021-09-03 cs.LG stat.ME
On the Computational Efficiency of Bayesian Additive Regression Trees: An Asymptotic Analysis
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,新加坡国立大学);Department of Statistics, UC Berkeley(统计系,加州大学伯克利分校);Department of Electrical Engineering and Computer Sciences, UC Berkeley(电气工程与计算机科学系,加州大学伯克利分校);Center for Computational Biology, UC Berkeley(计算生物学中心,加州大学伯克利分校)
本文分析了BART采样器在大规模数据下的计算效率,发现其收敛时间随样本量增加而增加,但通过增加树数量或提高温度可有效缓解这一问题。
2026-02-07 cs.LG math.ST stat.ML
Correlated Bayesian Additive Regression Trees with Gaussian Process for Regression Analysis of Dependent Data
Department of Biostatistics, The University of Texas MD Anderson Cancer Center(德克萨斯大学安德森癌症中心统计系);School of Mathematical and Statistical Sciences, Arizona State University(亚利桑那州立大学数学与统计科学学院)
针对相依数据建模的不足,提出CBART-GP模型,通过加性框架结合CBART与高斯过程提取残差依赖结构,并开发两阶段方差分析方法降低计算复杂度,实现准确的协ariate-响应关系恢复与强预测性能。
2025-09-15 stat.ME
Scalable piecewise smoothing with BART
针对BART只能输出不连续结果且现有扩展难以扩展的问题,提出ridgeBART,利用输出岭函数线性组合的树构建贝叶斯集成,并开发线性时间MCMC采样器,实现分段平滑回归,在合成数据和篮球投篮概率估计中验证有效性。
2025-08-07 stat.ME
Bayesian Additive Distribution Regression
Department of Statistics and Data Sciences(统计与数据科学系)
DistBART通过贝叶斯加法回归树先验建模分布回归,结合浅层决策树和随机特征近似,实现高效非参数回归与不确定性量化。
2026-03-06 stat.ME stat.ML
Distributed Soft Bayesian Additive Regression Trees
贝叶斯加性回归树(BART)BART是一种贝叶斯非参数方法,与随机森林和梯度提升决策树等现代预测方法相比,具有很强的竞争力。树结构的总和与贝叶斯推理框架相结合,提供了一种准确和鲁棒的统计方法。BART变体SBART使用随机决策树,与BART相比,显示了实际的优势。SBART的应用表明,SBART具有很好的预测效果。SBART算法的主要瓶颈是计算充分统计量的速度,而R软件包中的SBART算法的公开实现非常缓慢。本文介绍了如何利用消息传递接口(MPI)库,使用单程序多数据(SPMD)分布式计算来修改和计算SBART算法。这种方法在处理器核的数量上几乎线性地扩展,使得从业者能够对大量数据集执行统计推断。我们的方法也可以处理太大的数据集,适合于任何单一的数据仓库。我们对该算法进行了修改,使其能够处理分类问题,不能与原来的R包。通过数据实验,我们显示了分布式SBART分类问题相比,BART的优势。
2021-08-26 stat.AP
Inference for BART with Multinomial Outcomes
Johns Hopkins University(约翰斯·霍普金斯大学);Brown University(布朗大学);University of Florida(佛罗里达大学);Moi University(莫伊大学)
Kindo等人(KD)提出了多项概率贝叶斯加性回归树(MPBART)框架,用BART近似了多项概率(MNP)模型中的潜在效用(Chipman等人,2010)。与多项Logistic模型相比,MNP模型不需要假设独立的方案,方案之间的相关结构可以通过多变量高斯分布的潜在效用来确定。我们介绍了两个新的算法,用于拟合MPBART,并表明,我们的建议的理论混合率等于或优于现有的KD算法。通过模拟,我们探讨了方法的鲁棒性的参考水平的选择,结果频率的不平衡,和规格的先验超参数的效用误差项。这项工作的动机是基于肯尼亚提供医疗保健的学术模型(AMPATH)的电子健康记录(EHR),在艾滋病毒阳性患者中生成死亡率和护理参与的后验预测分布。在应用程序和模拟中,我们观察到更好的性能,使用我们的建议相比,KD的MCMC收敛速度和后验预测精度。
2022-08-12 cs.LG stat.ME stat.ML
Bayesian Additive Regression Networks
University of Arizona(亚利桑那大学);Data Diversity Lab, University of Arizona(亚利桑那大学数据多样性实验室)
本文提出BARN,将BART的贝叶斯加性思想用于单隐藏层神经网络集成,通过MCMC与吉布斯残差采样提升回归精度。
2024-04-05 cs.LG stat.ML
Bayesian Additive Regression Tree Copula Processes for Scalable Distributional Prediction
Scientific Computing Center, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院科学计算中心);Melbourne Business School, University of Melbourne(墨尔本大学墨尔本商学院)
本文提出了一种基于贝叶斯加法回归树的 copula 过程模型,用于实现可扩展的分布预测,并通过模拟和实际数据验证了其有效性。
2026-10-07 stat.ME
A Mixing Time Lower Bound for a Simplified Version of BART
UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学);Microsoft Research(微软研究院)
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种流行的贝叶斯非参数回归算法。后验是决策树总和的分布,通过对后验的近似样本进行平均来进行预测。强大的预测性能和提供不确定性度量的能力相结合,使BART常用于社会科学、生物统计学和因果推断。BART使用马尔可夫链蒙特卡罗(MCMC)在树的和的参数化空间上获得近似的后验样本,但是经常观察到链混合很慢。在本文中,我们提供了一个简化版本的BART的混合时间的第一个下界,其中我们减少到一个单一的树和使用的可能移动的MCMC建议分布的子集。我们的混合时间下限随着数据点的数量呈指数级增长。灵感来自这种新的连接之间的混合时间和数据点的数量,我们进行严格的模拟巴特。我们定性地表明,巴特的混合时间增加的数据点的数量。简化BART的缓慢混合时间表明简化BART算法的不同运行之间的大变化,并且在文献中已知BART的类似大变化。这种大的变化可能导致从BART MCMC样本获得的模型、预测和后验区间缺乏稳定性。我们的下限和模拟表明,随着数据点的数量增加链的数量。
2022-10-17 cs.AI cs.LG math.ST
On Semi-parametric Bernstein-von Mises Theorems for BART
在贝叶斯非参数统计/机器学习中,很少有方法像贝叶斯加性回归树(BART)一样受到关注。虽然BART现在经常用于预测任务,但其理论特性直到最近才开始被理解。在这项工作中,我们继续Rockova和van der Pas(2017)发起的BART理论研究。特别是,我们研究了Bernstein-von Mises(BvM)现象(即渐近正态性)的光滑线性泛函的回归表面的框架内的非参数回归固定协变量。与其他适应性先验一样,当功能性和真实性不相容时,BvM现象可能会失败。为了克服诅咒的自适应分层先验下,我们诱导自相似性假设,以确保收敛到一个单一的高斯分布,而不是高斯混合。已知对功能参数的类似定性限制对于自适应推理是必要的。许多机器学习方法缺乏连贯的概率机制来衡量不确定性。BART很容易通过后验可信集提供这种量化。BvM定理意味着可信集也是具有相同渐近覆盖的置信区域。本文给出了BART先验的第一个渐近正态性结果,从频率论的角度证明了BART是一个有效的工具。
2019-05-09 math.ST stat.TH
Predicting human-driving behavior to help driverless vehicles drive: random intercept Bayesian Additive Regression Trees
本研究通过添加随机截距扩展BART模型以处理相关的二元观测值,利用自然驾驶数据集预测人类驾驶车辆左转前是否停车,显著提升了预测性能。
2017-05-01 stat.AP
Joint Models for Handling Non-Ignorable Missing Data using Bayesian Additive Regression Trees: Application to Leaf Photosynthetic Traits Data
针对非随机缺失数据,本文提出两种基于 BART 的联合模型,灵活建模多变量结果与缺失机制,有效处理响应变量及协变量缺失,并在模拟和叶片光合性状数据中验证了其有效性。
2024-12-19 stat.AP stat.ME stat.ML
Large scale study of primary school student performance relative to their LMS activity and socioeconomic demographics using a Bayesian Additive Regression Trees containing random effects
本研究利用乌拉圭9-12岁学生数据,通过含学校层面随机效应的贝叶斯可加回归树(BART)模型,分析成绩与LMS活动、社会经济地位的关联,可早期识别高风险学生并定位需干预学校,发现低社会经济地位群体中高LMS使用率对成绩的积极影响更大。
2025-06-20 stat.AP stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中,协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时,如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种贝叶斯非参数方法,已被证明与最好的现代预测方法(如随机森林和提升决策树)具有竞争力。树的和结构与贝叶斯推理框架相结合,提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树(SBART)构造使用随机决策树和实质性的理论和实践的好处。在本文中,我们提出了一个加权SBART模型的解决方案,异步纵向数据。与其他方法相比,现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Conditional Copula models using loss-based Bayesian Additive Regression Trees
Newcastle University(纽卡斯尔大学);Kings College London(伦敦国王学院);Duke Kunshan University(杜克昆山大学)
本文提出基于损失函数的贝叶斯加性回归树方法,用于构建条件Copula模型,通过减少树复杂性和自适应MCMC算法,提高模型对复杂依赖关系的建模能力。
2026-03-10 stat.ME
RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations
Yonsei University(延世大学)
RoBART通过为每棵树分配旋转,使BART能高效逼近轴不对齐的边界,并在理论上证明其适应内在维度而轴对齐BART不能。
2026-10-08 cs.LG math.ST stat.ML
Loss-based prior for CART and BART models
Duke Kunshan University(昆山杜克大学);University of Bristol(布里斯托大学);Kings College London(伦敦国王学院);Newcastle Univeristy(纽卡斯尔大学)
提出一种基于信息损失和复杂度损失的树拓扑先验,通过两个参数控制树的深度和左右分支平衡,并给出默认校准,有效抑制BART过拟合。
2026-07-01 stat.AP stat.ME
Robust Semiparametric Inference for Bayesian Additive Regression Trees
University of Bonn(波恩大学);Chinese University of Hong Kong(香港中文大学);University of Osaka(大阪大学)
针对随机缺失数据的半参数推断问题,该研究结合BART与贝叶斯自助法提出RoBART方法,建立相关定理并验证其在有限样本下的稳健性能,可用于不确定性量化。
2026-09-22 econ.EM math.ST stat.ME
Multivariate Varying-Coefficient BART with Graphical Horseshoe Priors
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出多变量变系数BART框架,用独立BART集成建模非线性系数曲面,图形马蹄先验捕捉残差稀疏依赖,并证明后验收缩率。
2026-06-27 math.ST stat.ME stat.ML
BFTS: Thompson Sampling with Bayesian Additive Regression Trees
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,国立新加坡大学);Centre for Biomedical Data Science, Duke-NUS Medical School(生物医学数据科学中心,杜克-新加坡国立大学医学院);Department of Biostatistics and Bioinformatics, Duke University(生物统计学与生物信息学系,杜克大学);Department of Statistics and Data Science, Washington University in St. Louis(统计与数据科学系,圣路易斯华盛顿大学)
BFTS 是首个将贝叶斯加法回归树整合到探索循环中的上下文老虎机算法,通过理论证明和实验验证,实现了非参数老虎机的最优性能和实际应用效果。
2026-02-08 cs.LG stat.ME stat.ML
Dynamic Treatment Regimes using Bayesian Additive Regression Trees for Censored Outcomes
为了实现为每位患者提供最佳护理的目标,医生需要为具有相同诊断的患者定制治疗方法,特别是在治疗可能进一步发展并需要额外治疗的疾病时,例如癌症。随着疾病的进展,在多个阶段做出决定可以被正式定义为动态治疗方案(DTR)。大多数现有的估计动态治疗方案的优化方法,包括流行的Q-学习方法是在频率论的背景下开发的。最近,一个通用的贝叶斯机器学习框架,促进使用贝叶斯回归建模优化DTR已经提出。在这篇文章中,我们使用贝叶斯加性回归树(BART)为加速故障时间建模框架下的每个阶段,以及模拟研究和实际数据的例子,比较所提出的方法与Q学习的删失结果。我们还开发了一个R包装函数,利用标准的BART生存模型来优化DTR的删失结果。包装器函数可以很容易地扩展以适应任何类型的贝叶斯机器学习模型。
2022-10-24 stat.ME