Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Improving Neural Additive Models with Bayesian Principles
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Helmholtz AI（亥姆霍兹人工智能研究所）；TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出 Laplace 近似神经加性模型 LA-NAMs，利用贝叶斯边际似然、可信区间和特征对排序增强不确定性估计、特征选择与二阶交互识别。
2024-10-26 cs.LG stat.ML
On Thompson Sampling and Bilateral Uncertainty in Additive Bayesian Optimization
本文研究加性贝叶斯优化中忽略双边不确定性的汤普森采样近似，通过利用条件独立性实现高效采样，实证表明该近似性能略逊但实际影响微小，支持其实际应用。
2025-10-13 cs.LG stat.ML
On the Gaussian process limit of Bayesian Additive Regression Trees
本文推导并计算了精确的BART先验协方差函数，将其无限树极限实现为高斯过程回归，发现通过自然调整超参数可使其与标准BART竞争力相当，从而简化模型构建并避开复杂的MCMC算法。
2025-07-11 cs.LG stat.ML
Prediction with Missing Data via Bayesian Additive Regression Trees
The Wharton School of the University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
我们提出了一种方法，将缺失数据在非参数统计学习，而不需要填补。我们专注于一个基于树的方法，贝叶斯加法回归树（BART），增强了“Missingness Incorporated in Attributes”，最近提出的一种方法将missingness纳入决策树（Twala，2008）。这个过程利用了基于树的模型中的分区机制。仿真生成的模型和实际数据表明，我们提出的方法可以很好地预测复杂的失踪在随机和非失踪在随机模型，以及失踪本身影响响应的模型。我们的程序具有更高的预测性能，在许多情况下比竞争对手更稳定。我们还说明了巴士的能力，将缺失到不确定性区间，并检测缺失的模型拟合的影响。
2014-02-12 cs.LG stat.ML
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中，回归树的嵌入已经成为流行的统计工具。然而，尽管线性分位数回归模型越来越受欢迎，但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型，显示出非常好的预测性能，说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University（德克萨斯农工大学）
针对高维GP层导致DKL计算困难的问题，提出结合加性结构与诱导先验近似的DAK模型，自然导出最后一层BNN，并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树（MPBART）作为BART-贝叶斯加性回归树的多项式概率扩展（Chipman et al（2010））。MPBART是灵活的，允许包括预测，描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子，我们表明，MPBART具有很好的预测性能相比，其他离散选择和多类分类方法。为了实现MPBART，我们开发了一个R包mpbart，可以从CRAN仓库免费获得。
2016-02-06 stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research（R2 研究公司）
我们提出了两种非参数回归方法的贝叶斯扩展，这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出，扩展提供了目标值估计的分布和选择超参数的框架。结果表明，这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明，所提出的方法可以选择合适的超参数，并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对轴对齐BART的局限，提出基于线性组合的斜BART方法，利用数据自适应先验沿随机超平面递归划分特征空间，实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
Bayesian linear regression with Student-t assumptions
贝叶斯线性回归作为一种仅使用训练数据自动确定模型复杂度的方法，为我们提供了一种选择超参数的原则性方法。但当分布假设超出高斯分布时，往往需要近似推理。本文提出了一个具有学生t假设的贝叶斯线性回归模型（BLRS），它可以被精确地推断。在这个框架下，共轭先验和期望最大化（EM）算法进行了推广。同时，我们证明了最大似然解等价于高斯假设下的标准贝叶斯线性回归（BLRG）。BLRS的$q$ -EM算法与BLRG的EM算法几乎相同。实验结果表明，在预测网络新闻流行度的任务中，BLRS的$q$ -EM比BLRG的EM能更快地收敛。
2016-04-15 cs.LG stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而，用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中，我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法，大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和（可选）其梯度和费舍尔信息。潜在的应用是非常广泛的，我们考虑的例子在生存分析，结构异方差回归，伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Bayesian Additive Regression Trees with Model Trees
Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）；Maynooth University（梅努斯大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种基于树的机器学习方法，已成功应用于回归和分类问题。BART假设一组树上的正则化先验，这些树作为弱学习者工作，并且在存在非线性和高阶相互作用的情况下非常灵活地进行预测。在本文中，我们介绍了一个扩展的BART，称为模型树BART（MOTR-BART），认为分段线性函数在节点水平，而不是分段常数。在MOTR-BART中，不是在节点级别具有用于预测的唯一值，而是考虑已用作相应树中的分裂变量的协变量来估计线性预测器。在我们的方法中，局部线性更有效地捕获，需要更少的树，以达到相同或更好的性能比BART。通过模拟研究和实际数据的应用，我们比较MOTR-BART的主要竞争对手。MOTR-BART实现的R代码可在https://github.com/ebprado/MOTR-BART上获得。
2021-03-10 cs.LG stat.ML
High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups
EPFL（洛桑联邦理工学院）；National University of Singapore（新加坡国立大学）
贝叶斯优化（BO）是一种用于顺序黑盒函数优化的流行技术，其应用包括参数调整，机器人，环境监测等。BO中最重要的挑战之一是开发可扩展到高维的算法，尽管最近取得了进展，但这仍然是一个关键的开放问题。在本文中，我们考虑Kandasamy等人的方法。（2015），其中高维函数分解为基础变量子集上的低维函数之和。特别是，我们显着推广这种方法，通过提升的假设，子集是不相交的，并考虑添加剂模型与任意重叠的子集。通过表示的依赖关系，通过一个图，我们推导出一个有效的消息传递算法优化采集功能。此外，我们提供了一个算法学习的图形从样本的基础上吉布斯采样。我们实证证明了我们的方法对合成和真实世界数据的有效性。
2018-03-28 cs.LG stat.ML
Bayesian Additive Regression Trees for functional ANOVA model
Department of Statistics, Seoul National University（首尔大学统计系）；Department of Applied Mathematics, University of Twente（特温特大学应用数学系）
本文提出ANOVA-BART，通过函数方差分析分解提升可解释性，保持BART的理论保障并实现预测性能的平衡。
2026-03-31 cs.LG stat.ML
Machine Learning, Linear and Bayesian Models for Logistic Regression in Failure Detection Problems
SoftServe, Inc.（SoftServe 公司）；Ivan Franko National University of Lviv（利沃夫伊万·弗兰科国立大学）
在这项工作中，我们研究了使用逻辑回归在制造故障检测。作为分析的数据集，我们使用了来自Kaggle竞争Bosch生产线性能的数据。我们考虑了机器学习、线性和贝叶斯模型的使用。对于机器学习方法，我们分析了基于XGBoost树的分类器，以获得高分分类。使用广义线性模型进行Logistic回归，可以分析所研究的因素的影响。逻辑回归的贝叶斯方法给出了模型参数的统计分布。它可以用于概率分析，例如风险评估。
2016-12-17 cs.LG stat.ML
Particle Gibbs for Bayesian Additive Regression Trees
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
加法回归树是一种灵活的非参数模型，也是现实世界中非线性回归的常用工具。在应用领域，如生物信息学，也有需求的概率预测与不确定性的措施，贝叶斯加性回归树（BART）模型，介绍了Chipman等人。（2010），越来越受欢迎。然而，随着数据集规模的增长，用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地，这些马尔可夫链对树进行局部改变，并且当数据是高维的或者最佳拟合树超过几层深度时，遭受缓慢混合。我们提出了一种基于粒子吉布斯（PG）算法的BART新采样器（Andrieu等人，2010）和用于贝叶斯决策树的自上而下的粒子滤波算法（Lakshminarayanan等人，2013年）。PG采样器不是对单个树进行局部更改，而是提出一个完整的树来拟合残差。实验表明，PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
Sparse additive Gaussian process with soft interactions
加性非参数回归模型为高维变量选择提供了一个有吸引力的工具，当响应和预测变量之间的关系是复杂的。与参数非线性回归模型相比，它们提供了更大的灵活性，并且比非参数回归模型具有更好的可解释性和可扩展性。然而，同时实现稀疏的非参数分量的数量，以及在每个非参数分量内的变量构成了一个严峻的计算挑战。在这篇文章中，我们开发了一种新的贝叶斯加性回归模型，使用硬收缩和软收缩的组合，分别控制添加剂的组件和每个组件内的变量的数量。一个有效的算法来选择重要性变量和估计的相互作用网络。在模拟和真实数据的例子中获得了良好的性能。
2016-07-09 stat.ML
GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes
Maynooth University（梅努斯大学）；Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）
针对标准 BART 缺乏平滑性和显式协方差结构的局限，提出 GP-BART 模型，通过为所有树的终端节点预测假设 Gaussian process 先验进行扩展，在模拟与真实数据中超越传统方法。
2023-09-14 cs.LG stat.ME stat.ML
Variable Grouping Based Bayesian Additive Regression Tree
School of Mathematics；School of Statistics University of Minnesota, Minneapolis, MN 55455, USA
使用集合方法进行回归在获得高精度预测方面取得了巨大成功。例如Bagging、随机森林、Boosting、BART（贝叶斯加法回归树）及其变体。在本文中，我们提出了一个新的角度命名为变量分组，以提高预测性能。其主要思想是寻找潜在的变量分组，使得不同组的变量之间没有非线性相互作用项。给定一个学习者总和模型，每个学习者将只负责一组变量，这将在建模非线性交互时更有效。我们提出了一个两阶段的方法命名为基于变量分组的贝叶斯加性回归树（GBART）与一个开发良好的Python包gbart可用。第一阶段是寻找潜在的相互作用和适当的变量分组。第二阶段是根据发现的组构建最终模型。对合成数据和真实数据的实验表明，该方法的性能明显优于经典方法。
2019-11-05 cs.LG eess.SP stat.ME
Information-Theoretic Scoring Rules to Learn Additive Bayesian Network Applied to Epidemiology
University of Zurich（苏黎世大学）
贝叶斯网络建模是一种非常适合研究杂乱和高度相关的数据集的方法，这些数据集在例如，系统流行病学从观测数据集学习贝叶斯网络的一种流行方法是在搜索和评分方法中识别最大后验网络。许多分数都是基于贝叶斯或频率论提出的。从应用的角度来看，一个合适的方法将允许数据的多个分布，并且足够强大，可以自主运行。计算分数的一个有前途的框架是广义线性模型。事实上，存在快速估计算法和许多针对常见流行病学问题的定制解决方案。本文的目的是提出一个R包ABN，它具有多个频率论分数的实现和一些现实的模拟，显示其可用性和性能。它包括有效处理数据分离和调整的功能，这在系统流行病学中非常常见。
2018-08-03 cs.LG stat.CO stat.ML
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Ohio State University（俄亥俄州立大学）
本文提出随机化分片贝叶斯加性回归树（SBT），通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型，并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化（BO）是一种基于模型的无梯度黑箱函数优化方法。通常，BO由高斯过程（GP）驱动，其算法复杂度是评估数量的立方。因此，基于GP的BO不能利用大量的过去或相关的函数评估，例如，来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案，其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合，该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Inference in Bayesian Additive Vector Autoregressive Tree Models
向量自回归（VAR）模型假设内生变量和滞后之间呈线性关系。这种假设可能过于严格，可能对预测准确性产生有害影响。作为一种解决方案，我们提出了结合VAR和贝叶斯加性回归树（BART）模型。由此产生的贝叶斯加性向量自回归树（BAVART）模型是能够捕捉任意的内生变量和协变量之间的非线性关系，而无需太多的输入从研究人员。由于控制异方差是产生精确密度预测的关键，我们的模型允许误差的随机波动。我们将模型应用于两个数据集。第一个应用程序表明，BAVART模型产生了非常有竞争力的预测美国的利率期限结构。在第二个应用中，我们使用中等规模的欧元区数据集来估计我们的模型，以研究不确定性对经济的动态影响。
2021-03-09 econ.EM stat.ML stat.OT
Type 2 Tobit Sample Selection Models with Bayesian Additive Regression Trees
本文提出TOBART-2模型，通过在选择与结果方程中引入树的求和及Dirichlet过程混合分布，有效解决样本选择偏差并处理非线性与模型不确定性，提升了个体处理效应估计的准确性。
2025-11-02 econ.EM stat.ML
RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations
Yonsei University（延世大学）
RoBART通过为每棵树分配旋转，使BART能高效逼近轴不对齐的边界，并在理论上证明其适应内在维度而轴对齐BART不能。
2026-10-08 cs.LG math.ST stat.ML
Bayesian Additive Distribution Regression
Department of Statistics and Data Sciences（统计与数据科学系）
DistBART通过贝叶斯加法回归树先验建模分布回归，结合浅层决策树和随机特征近似，实现高效非参数回归与不确定性量化。
2026-03-06 stat.ME stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断，涵盖模型、推导及MATLAB/Octave实现，并作为教程与示例文档，提供免费在线函数。
2019-06-29 stat.ML
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树（BART）模型作为一种通用的非参数建模技术，近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合，它已被证明是唯一适合解决许多科学领域（包括医学和社会科学）中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang（2018）的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外，该软件包的主要目标是促进将BART纳入更大的模型中，使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务，以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
Additive Gaussian Process Regression
加法交互回归最近已被证明提供有吸引力的极大极小误差率超过传统的非参数多元回归在各种各样的设置，包括预测计数的情况下，远远大于样本量和许多预测有重要的影响，可能通过复杂的相互作用的响应。我们提出了一个贝叶斯实现的添加剂交互回归使用添加剂高斯过程（AGP）之前，并开发了一个有效的马尔可夫链采样器，扩展随机搜索变量选择在这种设置。仔细的先验和超参数规范的性能和计算的考虑，开发和关键的创新解决困难，探索联合后验分布在多个子集的高维预测包含向量。该方法提供了最先进的支持和交互恢复，同时在不同的模拟和真实数据集上的预测准确性方面大大优于竞争对手。真实数据研究的结果提供了强有力的证据，加性交互框架是一个有吸引力的建模平台，高维非参数回归。
2014-11-25 stat.CO stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中，协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时，如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种贝叶斯非参数方法，已被证明与最好的现代预测方法（如随机森林和提升决策树）具有竞争力。树的和结构与贝叶斯推理框架相结合，提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树（SBART）构造使用随机决策树和实质性的理论和实践的好处。在本文中，我们提出了一个加权SBART模型的解决方案，异步纵向数据。与其他方法相比，现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression
要建模的分类响应变量的协变量，我们提出了一个排列和增强棒打破（paSB）建设，一对一的映射观察到的类别随机排列的潜在棒。这种新的构造将多项式回归转换为对特定于棒的二元随机变量的回归分析，给定其协变量依赖的棒成功概率，这些随机变量是相互独立的，这些概率由其相应类别的回归系数参数化。paSB构造允许将任意交叉熵损失二进制分类器转换为贝叶斯多项式分类器。具体地说，我们参数化的负面的粘失效概率与一个家庭的协变量依赖的softplus功能，构建非参数贝叶斯多项式softplus回归，并转换贝叶斯支持向量机（SVM）到贝叶斯多项式SVM。这些贝叶斯多项式回归模型不仅能够提供概率估计，量化不确定性，增加鲁棒性，并产生非线性分类决策边界，而且还适合于后验模拟。实例结果证明了它们有吸引力的性质和性能。
2018-06-19 stat.ME stat.ML
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University（汉密尔顿研究所，梅努斯大学）；Maynooth University（梅努斯大学）
本文提出 HE-BART，通过在回归树终端节点嵌入随机效应，构建无需预设随机效应结构的非参数混合效应建模方法，并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
A note on Bayesian R-squared for generalized additive mixed models
本文提出一种贝叶斯框架，将广义加性混合模型的后验预测方差分解为已解释与未解释部分，从而严格定义贝叶斯R²，并引入部分贝叶斯R²量化各模型项的贡献。
2024-10-17 stat.ME
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树（BART），包括多项逻辑斯谛回归和计数回归，其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而，现有的应用程序的BART已被限制为高斯“数据”，无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是，虽然许多有用的模型是自然铸造的潜在高斯变量，许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略，并仔细指定这些新模型的先验分布。像原来的BART先验一样，新的先验分布经过精心构造和校准，在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
Comparison between Suitable Priors for Additive Bayesian Networks
加性贝叶斯网络是一种图形模型，它通过对基础变量的联合概率分布进行因子分解，将通常的贝叶斯广义线性模型扩展到多个因变量。在拟合ABN模型时，参数先验的选择至关重要。如果使用不充分的先验--如信息量太弱的先验--数据分离和数据稀疏会导致模型选择过程中的问题。在这项工作中，两个弱和一个强信息先验之间的模拟研究。作为弱信息先验，我们使用具有大方差的零均值高斯先验，目前在R包abn中实现。第二个先验属于学生t分布，专门为逻辑斯谛回归设计，最后，强信息先验再次是高斯分布，平均值等于真实参数值且方差较小。我们比较了这些先验知识对学习的加性贝叶斯网络在不同参数下的准确性的影响。我们创建了一个模拟研究来说明林德利的悖论的基础上的优先选择。然后，我们的结论是突出了良好的性能的信息学生的t先验和有限的影响林德利悖论。最后，对今后的发展提出了建议。
2018-09-18 stat.AP stat.ME stat.ML
Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity
我们将异方差贝叶斯加性回归树（BART）建模的误差方差参数的对数作为一个线性函数的预先指定的协变量。在该方案下，原始树和模型的吉布斯抽样过程很容易修改，方差模型的参数通过Metropolis-Hastings步骤更新。我们证明了我们的方法的承诺，提供更适当的后验预测区间比homoskedastic BART在异方差设置，并证明了该模型的抗过拟合。我们的实现将在即将发布的R包bartMachine中提供。
2014-02-21 stat.ME
Bayesian Quantile Regression for Partially Linear Additive Models
本文研究了条件分位数回归中部分线性可加模型的半参数贝叶斯估计和模型选择方法。非对称Laplace分布为基于校验损失的分位数回归模型的贝叶斯推断提供了一种机制。这种新方法的优点是，非线性，线性和零函数分量可以自动分离，同时在模型拟合，而无需预先指定或参数调整。这是通过使用两组指标变量的尖峰和厚板先验来实现的。对于后验推理，我们设计了一个有效的部分折叠吉布斯采样器。仿真研究被用来说明我们的算法。所提出的方法进一步说明了两个真实的数据集的应用程序。
2013-07-10 stat.CO stat.ME
Generalized Bayesian Additive Regression Trees: Theory and Software
University of South Carolina（南卡罗来纳大学）
本文提出广义贝叶斯树框架，适用于指数族响应变量的非线性回归，理论证明其后验收敛性，并提供Python/R软件实现多种分布模型。
2026-03-23 math.ST stat.ML stat.TH
Selection of tuning parameters in bridge regression models via Bayesian information criterion
我们考虑的桥梁线性回归建模，它可以产生一个稀疏或非稀疏模型。模型建立过程中的一个关键点是调整参数的选择，包括正则化参数和调整参数的桥梁回归模型。调整参数的选择可以看作是一个模型选择和评估问题。本文提出了一种基于贝叶斯方法的桥梁回归模型评价的模型选择准则。该选择标准使我们能够客观地选择调整参数。我们调查我们提出的建模策略的有效性，通过一些数值例子。
2012-04-14 stat.ME stat.ML
BARTSIMP: flexible spatial covariate modeling and prediction using Bayesian additive regression trees
针对空间统计预测中现有方法难以兼顾协变量非线性建模与可靠不确定性估计的问题，提出结合高斯过程与BART的BARTSIMP方法，通过MCMC与INLA结合降本，经模拟和肯尼亚人体测量数据验证有效。
2025-02-21 stat.ME stat.ML
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术，如贝叶斯套索和贝叶斯马蹄估计，最近在统计文献中受到了大量的关注。然而，在通用马尔可夫链蒙特卡罗平台（如STAN）之外，实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg，用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的，开源的，可用于MATLAB和R数值平台。
2016-12-20 stat.CO
GS-BART: Bayesian Additive Regression Trees with Graph-split Decision Rules
GS-BART提出一种基于图分裂规则的贝叶斯加性决策树方法，通过编码图拓扑信息并设计可扩展MCMC算法，在空间和网络数据回归与分类中优于传统集成树和高斯过程模型。
2025-09-08 stat.ME
Hybrid Bayesian Estimation in the additive hazards model
针对右删失数据下的半参数加性风险模型，提出一种结合Lin-Ying估计方程的混合贝叶斯估计方法，获得闭式后验估计量，并通过模拟和Nickels矿工数据集验证。
2025-05-27 math.ST stat.ME stat.TH
Semiparametric Bayesian Information Criterion for Model Selection in Ultra-high Dimensional Additive Models
对于参数个数不同的线性模型，最近的研究表明，改进的贝叶斯信息准则（BIC）可以一致地识别真实模型。然而，在许多情况下，几乎没有理由证明协变量的效应实际上是线性的。因此，一个半参数模型，如添加剂模型研究这里，是一个可行的替代。我们证明了BIC型标准的一致性的理论结果可以扩展到这个更具挑战性的情况下，与维度发散指数快速与样本量。此外，在我们的理论研究中，噪声假设是放松的。这些努力显着扩大了适用性的标准，更一般的一类模型。
2011-07-25 stat.ME
Nonparametric competing risks analysis using Bayesian Additive Regression Trees (BART)
许多至事件发生时间研究因存在竞争风险而变得复杂。通常使用Cox模型分析这些数据的原因特异性风险函数，或使用Fine-Gray模型分析子分布风险。在实践中，采用任一策略的竞争风险数据中的回归关系通常很复杂，可能包括协变量的非线性函数、相互作用、高维参数空间和非比例原因特异性或子分布危害。模型指定错误会导致预测性能不佳。为了解决这些问题，我们提出了一种新的方法，灵活的预测建模的竞争风险数据使用贝叶斯加性回归树（BART）。我们研究了在两个样本的情况下，以及一个复杂的回归设置的模拟性能，并基准测试其性能对标准的回归技术，以及随机生存森林。我们在最近发表的一项针对接受造血干细胞移植的患者的研究中说明了所提出的方法的使用。
2018-06-29 stat.AP stat.ME
Estimating Shapley Effects in Big-Data Emulation and Regression Settings using Bayesian Additive Regression Trees
本文提出一种基于贝叶斯加性回归树的Shapley效应估计器，适用于高维（数百维）非参数回归，并给出后验一致性理论保证及多维度测试验证。
2025-05-24 stat.ME
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别，产生以下结果。首先，逻辑回归是贝叶斯分类器的一种不太通用的表示。其次，我们应该假设类的分布，以正确说明逻辑回归方程。第三，在特定情况下，正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
High-Dimensional Bayesian Inference in Nonparametric Additive Models
提出了一种完全贝叶斯方法用于超高维非参数可加模型，其中可加成分的数量可能大于样本量，尽管理想情况下真正的模型被认为只包括少量的成分。贝叶斯方法可以进行随机模型搜索，通过随机抽取实现灵活的参数估计。理论分析表明，所提出的模型选择方法具有令人满意的性质。例如，当与模型先验相关的超参数被正确指定时，随着样本量变为无穷大，真实模型的后验概率接近1;当该超参数被错误指定时，所选模型仍然是可接受的，因为渐进地证明它嵌套在真实模型中。为了提高模型的灵活性，提出了两个新的$g$先验，并检验了它们的理论性能。我们还提出了一个有效的MCMC算法来处理计算问题。几个仿真例子来证明我们的方法的计算优势。
2013-09-23 stat.ME
Bayesian Regression of Piecewise Constant Functions
我们推导出一个精确和有效的贝叶斯回归算法的分段常数函数的未知段数，边界位置和水平。它适用于任何噪声和段级先验，例如可以处理离群值的Cauchy。我们得到简单，但很好的估计段内方差。我们还提出了贝叶斯回归曲线作为平滑数据而不模糊边界的更好方法。贝叶斯方法还允许直接确定证据、断裂概率和误差估计，这对于模型选择以及显著性和稳健性研究非常有用。我们讨论了合成和现实世界的例子的性能。将讨论许多可能的扩展。
2006-06-13 cs.LG math.PR math.ST
Correlated Bayesian Additive Regression Trees with Gaussian Process for Regression Analysis of Dependent Data
针对相依数据建模的不足，提出CBART-GP模型，通过加性框架结合CBART与高斯过程提取残差依赖结构，并开发两阶段方差分析方法降低计算复杂度，实现准确的协ariate-响应关系恢复与强预测性能。
2025-09-15 stat.ME
Bayesian views of generalized additive modelling
本文从贝叶斯视角阐释广义加性模型（GAMs），强调其与频率论平滑的联系及在生态学中的应用，重点讨论项/模型选择与不确定性估计。
2025-01-07 stat.ME
Density Regression with Bayesian Additive Regression Trees
对整个密度如何随协变量变化进行建模是均值和分位数回归的重要但具有挑战性的推广。现有的密度回归方法主要包括协变量依赖的离散混合模型，我们考虑了一个连续的潜变量模型，我们称之为DR-BART。通过贝叶斯加性回归树（BART）的一个新的应用构建的先验映射的潜变量的观察数据。我们证明了我们的模型引起的后验集中在足够光滑的真实生成函数周围。我们还分析了DR-BART在一组具有挑战性的模拟示例上的性能，在这些示例中，它优于贝叶斯密度回归的各种其他方法。最后，我们将DR-BART应用于来自教育测试和经济学的两个真实数据集，以研究学生的成长并预测教育回报。我们提出的采样器是有效的，并允许一个利用巴士的灵活性，在许多应用设置的整个分布的响应是主要的利益。此外，我们的计划在BART内的潜变量的分裂有利于其未来的应用程序，可以通过潜变量，如涉及层次或时间序列数据描述的其他类别的模型。
2021-12-22 stat.ME
