Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Improving Neural Additive Models with Bayesian Principles
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Helmholtz AI（亥姆霍兹人工智能研究所）；TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出 Laplace 近似神经加性模型 LA-NAMs，利用贝叶斯边际似然、可信区间和特征对排序增强不确定性估计、特征选择与二阶交互识别。
2024-10-26 cs.LG stat.ML
On Thompson Sampling and Bilateral Uncertainty in Additive Bayesian Optimization
本文研究加性贝叶斯优化中忽略双边不确定性的汤普森采样近似，通过利用条件独立性实现高效采样，实证表明该近似性能略逊但实际影响微小，支持其实际应用。
2025-10-13 cs.LG stat.ML
Prediction with Missing Data via Bayesian Additive Regression Trees
The Wharton School of the University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
我们提出了一种方法，将缺失数据在非参数统计学习，而不需要填补。我们专注于一个基于树的方法，贝叶斯加法回归树（BART），增强了“Missingness Incorporated in Attributes”，最近提出的一种方法将missingness纳入决策树（Twala，2008）。这个过程利用了基于树的模型中的分区机制。仿真生成的模型和实际数据表明，我们提出的方法可以很好地预测复杂的失踪在随机和非失踪在随机模型，以及失踪本身影响响应的模型。我们的程序具有更高的预测性能，在许多情况下比竞争对手更稳定。我们还说明了巴士的能力，将缺失到不确定性区间，并检测缺失的模型拟合的影响。
2014-02-12 cs.LG stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University（德克萨斯农工大学）
针对高维GP层导致DKL计算困难的问题，提出结合加性结构与诱导先验近似的DAK模型，自然导出最后一层BNN，并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树（MPBART）作为BART-贝叶斯加性回归树的多项式概率扩展（Chipman et al（2010））。MPBART是灵活的，允许包括预测，描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子，我们表明，MPBART具有很好的预测性能相比，其他离散选择和多类分类方法。为了实现MPBART，我们开发了一个R包mpbart，可以从CRAN仓库免费获得。
2016-02-06 stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对轴对齐BART的局限，提出基于线性组合的斜BART方法，利用数据自适应先验沿随机超平面递归划分特征空间，实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
Bayesian Additive Regression Networks
University of Arizona（亚利桑那大学）；Data Diversity Lab, University of Arizona（亚利桑那大学数据多样性实验室）
本文提出BARN，将BART的贝叶斯加性思想用于单隐藏层神经网络集成，通过MCMC与吉布斯残差采样提升回归精度。
2024-04-05 cs.LG stat.ML
High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups
EPFL（洛桑联邦理工学院）；National University of Singapore（新加坡国立大学）
贝叶斯优化（BO）是一种用于顺序黑盒函数优化的流行技术，其应用包括参数调整，机器人，环境监测等。BO中最重要的挑战之一是开发可扩展到高维的算法，尽管最近取得了进展，但这仍然是一个关键的开放问题。在本文中，我们考虑Kandasamy等人的方法。（2015），其中高维函数分解为基础变量子集上的低维函数之和。特别是，我们显着推广这种方法，通过提升的假设，子集是不相交的，并考虑添加剂模型与任意重叠的子集。通过表示的依赖关系，通过一个图，我们推导出一个有效的消息传递算法优化采集功能。此外，我们提供了一个算法学习的图形从样本的基础上吉布斯采样。我们实证证明了我们的方法对合成和真实世界数据的有效性。
2018-03-28 cs.LG stat.ML
Bayesian Additive Regression Trees for functional ANOVA model
Department of Statistics, Seoul National University（首尔大学统计系）；Department of Applied Mathematics, University of Twente（特温特大学应用数学系）
本文提出ANOVA-BART，通过函数方差分析分解提升可解释性，保持BART的理论保障并实现预测性能的平衡。
2026-03-31 cs.LG stat.ML
On the Gaussian process limit of Bayesian Additive Regression Trees
本文推导并计算了精确的BART先验协方差函数，将其无限树极限实现为高斯过程回归，发现通过自然调整超参数可使其与标准BART竞争力相当，从而简化模型构建并避开复杂的MCMC算法。
2025-07-11 cs.LG stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而，用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中，我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法，大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和（可选）其梯度和费舍尔信息。潜在的应用是非常广泛的，我们考虑的例子在生存分析，结构异方差回归，伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中，回归树的嵌入已经成为流行的统计工具。然而，尽管线性分位数回归模型越来越受欢迎，但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型，显示出非常好的预测性能，说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
Bayesian Additive Regression Trees with Model Trees
Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）；Maynooth University（梅努斯大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种基于树的机器学习方法，已成功应用于回归和分类问题。BART假设一组树上的正则化先验，这些树作为弱学习者工作，并且在存在非线性和高阶相互作用的情况下非常灵活地进行预测。在本文中，我们介绍了一个扩展的BART，称为模型树BART（MOTR-BART），认为分段线性函数在节点水平，而不是分段常数。在MOTR-BART中，不是在节点级别具有用于预测的唯一值，而是考虑已用作相应树中的分裂变量的协变量来估计线性预测器。在我们的方法中，局部线性更有效地捕获，需要更少的树，以达到相同或更好的性能比BART。通过模拟研究和实际数据的应用，我们比较MOTR-BART的主要竞争对手。MOTR-BART实现的R代码可在https://github.com/ebprado/MOTR-BART上获得。
2021-03-10 cs.LG stat.ML
Bayesian Structured Prediction Using Gaussian Processes
University of Cambridge（剑桥大学）
我们引入了一个概念新颖的结构化预测模型，GPstruct，这是内核化的，非参数和贝叶斯，通过设计。我们激励模型与现有的方法，其中包括条件随机场（CRF），最大利润马尔可夫网络（M3N），结构化支持向量机（SVMstruct），它只体现了其属性的一个子集。我们提出了一个基于马尔可夫链蒙特卡罗的推理过程。该框架可以为各种结构化对象实例化，如线性链、树、网格和其他一般图形。作为概念证明，该模型是基准上的几个自然语言处理任务和视频手势分割任务，涉及线性链结构。我们显示预测精度GPstruct是相当或超过CRF和SVMstruct。
2013-07-15 cs.LG stat.ML
Co-data Learning for Bayesian Additive Regression Trees
Amsterdam Public Health Research Institute（阿姆斯特丹公共卫生研究所）；Amsterdam University Medical Centers（阿姆斯特丹大学医学中心）；Cancer Center Amsterdam（阿姆斯特丹癌症中心）
针对医学预测中小样本高维协变量的难题，提出融入协数据的贝叶斯加性回归树经验贝叶斯框架，可同时处理多类协数据、估计超参数，仿真和淋巴瘤预后应用均验证了其变量选择和预测性能优势。
2024-11-03 cs.LG stat.ML
BMRS: Bayesian Model Reduction for Structured Pruning
University of Copenhagen（哥本哈根大学）
本文提出一种端到端的贝叶斯结构化剪枝方法BMRS，基于乘性噪声与贝叶斯模型约简，通过不同先验实现高压缩率与准确率，实验证明其性能与效率折衷方案具竞争力。
2024-12-20 cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Particle Gibbs for Bayesian Additive Regression Trees
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
加法回归树是一种灵活的非参数模型，也是现实世界中非线性回归的常用工具。在应用领域，如生物信息学，也有需求的概率预测与不确定性的措施，贝叶斯加性回归树（BART）模型，介绍了Chipman等人。（2010），越来越受欢迎。然而，随着数据集规模的增长，用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地，这些马尔可夫链对树进行局部改变，并且当数据是高维的或者最佳拟合树超过几层深度时，遭受缓慢混合。我们提出了一种基于粒子吉布斯（PG）算法的BART新采样器（Andrieu等人，2010）和用于贝叶斯决策树的自上而下的粒子滤波算法（Lakshminarayanan等人，2013年）。PG采样器不是对单个树进行局部更改，而是提出一个完整的树来拟合残差。实验表明，PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
Information-Theoretic Scoring Rules to Learn Additive Bayesian Network Applied to Epidemiology
University of Zurich（苏黎世大学）
贝叶斯网络建模是一种非常适合研究杂乱和高度相关的数据集的方法，这些数据集在例如，系统流行病学从观测数据集学习贝叶斯网络的一种流行方法是在搜索和评分方法中识别最大后验网络。许多分数都是基于贝叶斯或频率论提出的。从应用的角度来看，一个合适的方法将允许数据的多个分布，并且足够强大，可以自主运行。计算分数的一个有前途的框架是广义线性模型。事实上，存在快速估计算法和许多针对常见流行病学问题的定制解决方案。本文的目的是提出一个R包ABN，它具有多个频率论分数的实现和一些现实的模拟，显示其可用性和性能。它包括有效处理数据分离和调整的功能，这在系统流行病学中非常常见。
2018-08-03 cs.LG stat.CO stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Ohio State University（俄亥俄州立大学）
本文提出随机化分片贝叶斯加性回归树（SBT），通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型，并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
Compressive Measurement Designs for Estimating Structured Signals in Structured Clutter: A Bayesian Experimental Design Approach
University of Minnesota（明尼苏达大学）
这项工作考虑了压缩感知中的估计任务，其中目标是在特定设置中从被加性测量前噪声（干扰或杂波）以及测量后噪声破坏的压缩测量中估计未知信号，其中一些（可能是有限的）关于信号、干扰和噪声的先验知识是可用的。这里的具体目标是设计一种策略，用于将该先验信息纳入适当的压缩测量策略的设计中。在这里，先验信息被解释为相关量的先验分布的统计，并提出了一种基于贝叶斯试验设计的方法。合成数据上的实验结果表明，该方法优于传统的随机压缩测量设计，这是先验信息不可知的，以及其他几个知识增强的传感矩阵设计的基础上更启发式的概念。
2013-11-21 cs.LG stat.ML
GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes
Maynooth University（梅努斯大学）；Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）
针对标准 BART 缺乏平滑性和显式协方差结构的局限，提出 GP-BART 模型，通过为所有树的终端节点预测假设 Gaussian process 先验进行扩展，在模拟与真实数据中超越传统方法。
2023-09-14 cs.LG stat.ME stat.ML
Variable Grouping Based Bayesian Additive Regression Tree
School of Mathematics；School of Statistics University of Minnesota, Minneapolis, MN 55455, USA
使用集合方法进行回归在获得高精度预测方面取得了巨大成功。例如Bagging、随机森林、Boosting、BART（贝叶斯加法回归树）及其变体。在本文中，我们提出了一个新的角度命名为变量分组，以提高预测性能。其主要思想是寻找潜在的变量分组，使得不同组的变量之间没有非线性相互作用项。给定一个学习者总和模型，每个学习者将只负责一组变量，这将在建模非线性交互时更有效。我们提出了一个两阶段的方法命名为基于变量分组的贝叶斯加性回归树（GBART）与一个开发良好的Python包gbart可用。第一阶段是寻找潜在的相互作用和适当的变量分组。第二阶段是根据发现的组构建最终模型。对合成数据和真实数据的实验表明，该方法的性能明显优于经典方法。
2019-11-05 cs.LG eess.SP stat.ME
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Local Latent Space Bayesian Optimization over Structured Inputs
University of Pennsylvania（宾夕法尼亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
深度自动编码器模型（DAE）的潜在空间上的贝叶斯优化最近已经成为一种有前途的新方法，用于在结构化、离散、难以枚举的搜索空间（例如，分子）。这里，DAE通过将输入映射到连续的潜在空间中，可以更容易地应用熟悉的贝叶斯优化工具，从而大大简化了搜索空间。尽管这种简化，潜在空间通常仍然是高维的。因此，即使有一个非常合适的潜在空间，这些方法并不一定提供一个完整的解决方案，但可能会转移到一个高维的结构化优化问题。在本文中，我们提出了LOL-BO，它适应了最近的高维贝叶斯优化工作中探索的信任区域的概念结构化设置。通过将编码器重新公式化，使其既作为DAE的全局编码器，又作为信任区域内代理模型的深层内核，我们可以更好地将潜在空间中的局部优化概念与输入空间中的局部优化概念相结合。LOL-BO在六个真实世界的基准测试中实现了最先进的潜在空间贝叶斯优化方法的20倍改进，表明优化策略的改进与开发更好的DAE模型一样重要。
2023-02-22 cs.LG stat.ML
Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Bayesian Semi-structured Subspace Inference
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich and MCML（慕尼黑大学和慕尼黑机器学习中心）；UZH and ZHAW Zürich（苏黎世大学和苏黎世应用科学大学）
针对半结构回归模型缺乏认知不确定性建模的问题，提出结构化全参数与非结构化子空间联合后验采样的贝叶斯子空间推断方法，可恢复结构化后验并逼近MCMC，且预测性能具有竞争力。
2024-01-23 cs.LG stat.ML
Bayesian Additive Main Effects and Multiplicative Interaction Models using Tensor Regression for Multi-environmental Trials
Hamilton Institute, Department of Mathematics（哈里顿研究所，数学系）；Statistics, Maynooth University, Ireland（统计学，梅诺特大学，爱尔兰）；School of Mathematics（数学学院）；Statistics, Insight Centre for Data Analytics, University College Dublin, Ireland（统计学，洞察数据分析师中心，都柏林大学学院，爱尔兰）
提出一种贝叶斯张量回归模型解决多环境试验中的表型预测问题，通过引入spike-and-slab结构识别关键交互作用，并在模拟和爱尔兰小麦数据中验证了其优越性。
2025-11-02 cs.LG stat.ML
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Inference in Bayesian Additive Vector Autoregressive Tree Models
向量自回归（VAR）模型假设内生变量和滞后之间呈线性关系。这种假设可能过于严格，可能对预测准确性产生有害影响。作为一种解决方案，我们提出了结合VAR和贝叶斯加性回归树（BART）模型。由此产生的贝叶斯加性向量自回归树（BAVART）模型是能够捕捉任意的内生变量和协变量之间的非线性关系，而无需太多的输入从研究人员。由于控制异方差是产生精确密度预测的关键，我们的模型允许误差的随机波动。我们将模型应用于两个数据集。第一个应用程序表明，BAVART模型产生了非常有竞争力的预测美国的利率期限结构。在第二个应用中，我们使用中等规模的欧元区数据集来估计我们的模型，以研究不确定性对经济的动态影响。
2021-03-09 econ.EM stat.ML stat.OT
Type 2 Tobit Sample Selection Models with Bayesian Additive Regression Trees
本文提出TOBART-2模型，通过在选择与结果方程中引入树的求和及Dirichlet过程混合分布，有效解决样本选择偏差并处理非线性与模型不确定性，提升了个体处理效应估计的准确性。
2025-11-02 econ.EM stat.ML
RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations
Yonsei University（延世大学）
RoBART通过为每棵树分配旋转，使BART能高效逼近轴不对齐的边界，并在理论上证明其适应内在维度而轴对齐BART不能。
2026-10-08 cs.LG math.ST stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树（BART）模型作为一种通用的非参数建模技术，近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合，它已被证明是唯一适合解决许多科学领域（包括医学和社会科学）中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang（2018）的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外，该软件包的主要目标是促进将BART纳入更大的模型中，使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务，以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
Bayesian Additive Distribution Regression
Department of Statistics and Data Sciences（统计与数据科学系）
DistBART通过贝叶斯加法回归树先验建模分布回归，结合浅层决策树和随机特征近似，实现高效非参数回归与不确定性量化。
2026-03-06 stat.ME stat.ML
Bayesian Optimisation for Sequential Experimental Design with Applications in Additive Manufacturing
Trinity College Dublin（都柏林圣三一学院）；Maynooth University（梅努斯大学）；Dublin City University（都柏林城市大学）；I-Form Advanced Manufacturing Research Centre（I-Form先进制造研究中心）
该研究介绍贝叶斯优化在实验设计的应用价值，提供含方法论与软件指南的BO手册，综述其在增材制造的应用、对比开源库并挖掘新场景，为相关从业者提供参考。
2023-10-08 cs.CE cs.LG
A note on Bayesian R-squared for generalized additive mixed models
本文提出一种贝叶斯框架，将广义加性混合模型的后验预测方差分解为已解释与未解释部分，从而严格定义贝叶斯R²，并引入部分贝叶斯R²量化各模型项的贡献。
2024-10-17 stat.ME
ALAS: Additive Learnable Alpha-Stable Kernels for Flexible Bayesian Optimization
研究针对贝叶斯优化中核选择依赖目标未知结构的问题，提出ALAS核族，通过学习稳定性参数α适应数据，给出两种参数化，实验表明其在多样设置下性能强大且稳健。
2026-07-22 cs.LG math.OC
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中，协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时，如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种贝叶斯非参数方法，已被证明与最好的现代预测方法（如随机森林和提升决策树）具有竞争力。树的和结构与贝叶斯推理框架相结合，提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树（SBART）构造使用随机决策树和实质性的理论和实践的好处。在本文中，我们提出了一个加权SBART模型的解决方案，异步纵向数据。与其他方法相比，现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Comparison between Suitable Priors for Additive Bayesian Networks
加性贝叶斯网络是一种图形模型，它通过对基础变量的联合概率分布进行因子分解，将通常的贝叶斯广义线性模型扩展到多个因变量。在拟合ABN模型时，参数先验的选择至关重要。如果使用不充分的先验--如信息量太弱的先验--数据分离和数据稀疏会导致模型选择过程中的问题。在这项工作中，两个弱和一个强信息先验之间的模拟研究。作为弱信息先验，我们使用具有大方差的零均值高斯先验，目前在R包abn中实现。第二个先验属于学生t分布，专门为逻辑斯谛回归设计，最后，强信息先验再次是高斯分布，平均值等于真实参数值且方差较小。我们比较了这些先验知识对学习的加性贝叶斯网络在不同参数下的准确性的影响。我们创建了一个模拟研究来说明林德利的悖论的基础上的优先选择。然后，我们的结论是突出了良好的性能的信息学生的t先验和有限的影响林德利悖论。最后，对今后的发展提出了建议。
2018-09-18 stat.AP stat.ME stat.ML
Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity
我们将异方差贝叶斯加性回归树（BART）建模的误差方差参数的对数作为一个线性函数的预先指定的协变量。在该方案下，原始树和模型的吉布斯抽样过程很容易修改，方差模型的参数通过Metropolis-Hastings步骤更新。我们证明了我们的方法的承诺，提供更适当的后验预测区间比homoskedastic BART在异方差设置，并证明了该模型的抗过拟合。我们的实现将在即将发布的R包bartMachine中提供。
2014-02-21 stat.ME
Bayesian Quantile Regression for Partially Linear Additive Models
本文研究了条件分位数回归中部分线性可加模型的半参数贝叶斯估计和模型选择方法。非对称Laplace分布为基于校验损失的分位数回归模型的贝叶斯推断提供了一种机制。这种新方法的优点是，非线性，线性和零函数分量可以自动分离，同时在模型拟合，而无需预先指定或参数调整。这是通过使用两组指标变量的尖峰和厚板先验来实现的。对于后验推理，我们设计了一个有效的部分折叠吉布斯采样器。仿真研究被用来说明我们的算法。所提出的方法进一步说明了两个真实的数据集的应用程序。
2013-07-10 stat.CO stat.ME
SBAMDT: Bayesian Additive Decision Trees with Adaptive Soft Semi-multivariate Split Rules
Texas A&M University（德克萨斯农工大学）；University of Cincinnati（辛辛那提大学）；Shell International Exploration and Production Inc（壳牌国际勘探与生产公司）
针对标准决策树单变量确定性分裂规则难以捕捉复杂决策边界的问题，提出采用自适应软半多变量分裂规则的SBAMDT概率加性决策树模型，可适配不同平滑度，经多数据集对比验证了其实用性。
2025-01-17 cs.LG math.ST stat.ME
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University（汉密尔顿研究所，梅努斯大学）；Maynooth University（梅努斯大学）
本文提出 HE-BART，通过在回归树终端节点嵌入随机效应，构建无需预设随机效应结构的非参数混合效应建模方法，并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
Hybrid Bayesian Estimation in the additive hazards model
针对右删失数据下的半参数加性风险模型，提出一种结合Lin-Ying估计方程的混合贝叶斯估计方法，获得闭式后验估计量，并通过模拟和Nickels矿工数据集验证。
2025-05-27 math.ST stat.ME stat.TH
BFTS: Thompson Sampling with Bayesian Additive Regression Trees
Department of Statistics and Data Science, National University of Singapore（统计与数据科学系，国立新加坡大学）；Centre for Biomedical Data Science, Duke-NUS Medical School（生物医学数据科学中心，杜克-新加坡国立大学医学院）；Department of Biostatistics and Bioinformatics, Duke University（生物统计学与生物信息学系，杜克大学）；Department of Statistics and Data Science, Washington University in St. Louis（统计与数据科学系，圣路易斯华盛顿大学）
BFTS 是首个将贝叶斯加法回归树整合到探索循环中的上下文老虎机算法，通过理论证明和实验验证，实现了非参数老虎机的最优性能和实际应用效果。
2026-02-08 cs.LG stat.ME stat.ML
Semiparametric Bayesian Information Criterion for Model Selection in Ultra-high Dimensional Additive Models
对于参数个数不同的线性模型，最近的研究表明，改进的贝叶斯信息准则（BIC）可以一致地识别真实模型。然而，在许多情况下，几乎没有理由证明协变量的效应实际上是线性的。因此，一个半参数模型，如添加剂模型研究这里，是一个可行的替代。我们证明了BIC型标准的一致性的理论结果可以扩展到这个更具挑战性的情况下，与维度发散指数快速与样本量。此外，在我们的理论研究中，噪声假设是放松的。这些努力显着扩大了适用性的标准，更一般的一类模型。
2011-07-25 stat.ME
Sequential Design for Computer Experiments with a Flexible Bayesian Additive Model
在计算机实验中，在计算机上实现的数学模型用于表示复杂的物理现象。这些模型被称为计算机模拟器，可以对复杂现象的虚拟表示进行实验研究。模拟器可以被认为是复杂的功能，需要许多输入并提供输出。通常这些模拟器本身计算起来很昂贵，并且可以通过“替代模型”（如统计回归模型）来近似。在本文中，我们考虑了一种新的代理模型，贝叶斯集成的树（Chipman等。2010），与学习足够的模拟器的特定功能的模拟器可以估计的具体目标。我们专注于识别模拟器的全局最小值。利用贝叶斯版本的预期改善标准（琼斯等人，1998年），我们表明，这种合奏是特别有效的，当模拟器表现不佳，表现出非平稳性或突然变化的响应。一些插图的方法，包括潮汐发电的应用。
2012-07-01 stat.ME stat.ML
Bayesian Additive Adaptive Basis Tensor Product Models for Modeling High Dimensional Surfaces: An application to high-throughput toxicity testing
许多现代数据集都是从复杂的高维表面采样的。诸如张量积样条或高斯过程之类的方法有效/非常适合于表征二维或三维的表面，但在表示更高维的表面时可能会遇到困难。受高通量毒性测试的启发，其中观察到的剂量-响应曲线是由化学品的结构特性定义的表面的横截面，开发了一种模型来表征该表面以预测未经测试的化学品的剂量-响应。这篇手稿提出了一种新的方法，将多维表面建模为学习的基函数的总和，这些基函数形成为低维函数的张量积，这些函数本身可以通过从数据中学习的基扩展来表示。描述了该模型，提出了一种吉布斯抽样算法，并在模拟研究以及从美国环保局的ToxCast高通量毒性测试平台的数据进行了研究。
2017-06-15 stat.ML
High-Dimensional Bayesian Inference in Nonparametric Additive Models
提出了一种完全贝叶斯方法用于超高维非参数可加模型，其中可加成分的数量可能大于样本量，尽管理想情况下真正的模型被认为只包括少量的成分。贝叶斯方法可以进行随机模型搜索，通过随机抽取实现灵活的参数估计。理论分析表明，所提出的模型选择方法具有令人满意的性质。例如，当与模型先验相关的超参数被正确指定时，随着样本量变为无穷大，真实模型的后验概率接近1;当该超参数被错误指定时，所选模型仍然是可接受的，因为渐进地证明它嵌套在真实模型中。为了提高模型的灵活性，提出了两个新的$g$先验，并检验了它们的理论性能。我们还提出了一个有效的MCMC算法来处理计算问题。几个仿真例子来证明我们的方法的计算优势。
2013-09-23 stat.ME
