Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity
我们将异方差贝叶斯加性回归树(BART)建模的误差方差参数的对数作为一个线性函数的预先指定的协变量。在该方案下,原始树和模型的吉布斯抽样过程很容易修改,方差模型的参数通过Metropolis-Hastings步骤更新。我们证明了我们的方法的承诺,提供更适当的后验预测区间比homoskedastic BART在异方差设置,并证明了该模型的抗过拟合。我们的实现将在即将发布的R包bartMachine中提供。
2014-02-21 stat.ME
Classified as unknown: A novel Bayesian neural network
Haverford College(哈弗福德学院);Widener University(威德纳大学)
我们使用probit函数建立softmax激活函数输出分布参数的估计。作为一个应用程序,我们开发了一个新的有效的贝叶斯学习算法完全连接的神经网络,训练和预测内的贝叶斯推理框架内进行封闭形式。这种方法允许顺序学习,并且不需要计算昂贵的梯度计算和蒙特卡罗采样。我们的工作将\cite{H}中用于二进制分类的单个感知器的贝叶斯算法推广到用于多类分类的多层感知器。
2023-01-31 cs.LG stat.AP
Semiparametric Bayesian Information Criterion for Model Selection in Ultra-high Dimensional Additive Models
对于参数个数不同的线性模型,最近的研究表明,改进的贝叶斯信息准则(BIC)可以一致地识别真实模型。然而,在许多情况下,几乎没有理由证明协变量的效应实际上是线性的。因此,一个半参数模型,如添加剂模型研究这里,是一个可行的替代。我们证明了BIC型标准的一致性的理论结果可以扩展到这个更具挑战性的情况下,与维度发散指数快速与样本量。此外,在我们的理论研究中,噪声假设是放松的。这些努力显着扩大了适用性的标准,更一般的一类模型。
2011-07-25 stat.ME
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中,协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时,如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种贝叶斯非参数方法,已被证明与最好的现代预测方法(如随机森林和提升决策树)具有竞争力。树的和结构与贝叶斯推理框架相结合,提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树(SBART)构造使用随机决策树和实质性的理论和实践的好处。在本文中,我们提出了一个加权SBART模型的解决方案,异步纵向数据。与其他方法相比,现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Robust Semiparametric Inference for Bayesian Additive Regression Trees
University of Bonn(波恩大学);Chinese University of Hong Kong(香港中文大学);University of Osaka(大阪大学)
针对随机缺失数据的半参数推断问题,该研究结合BART与贝叶斯自助法提出RoBART方法,建立相关定理并验证其在有限样本下的稳健性能,可用于不确定性量化。
2026-09-22 econ.EM math.ST stat.ME
High-Dimensional Bayesian Inference in Nonparametric Additive Models
提出了一种完全贝叶斯方法用于超高维非参数可加模型,其中可加成分的数量可能大于样本量,尽管理想情况下真正的模型被认为只包括少量的成分。贝叶斯方法可以进行随机模型搜索,通过随机抽取实现灵活的参数估计。理论分析表明,所提出的模型选择方法具有令人满意的性质。例如,当与模型先验相关的超参数被正确指定时,随着样本量变为无穷大,真实模型的后验概率接近1;当该超参数被错误指定时,所选模型仍然是可接受的,因为渐进地证明它嵌套在真实模型中。为了提高模型的灵活性,提出了两个新的$g$先验,并检验了它们的理论性能。我们还提出了一个有效的MCMC算法来处理计算问题。几个仿真例子来证明我们的方法的计算优势。
2013-09-23 stat.ME
Bayesian Quantile Regression for Partially Linear Additive Models
本文研究了条件分位数回归中部分线性可加模型的半参数贝叶斯估计和模型选择方法。非对称Laplace分布为基于校验损失的分位数回归模型的贝叶斯推断提供了一种机制。这种新方法的优点是,非线性,线性和零函数分量可以自动分离,同时在模型拟合,而无需预先指定或参数调整。这是通过使用两组指标变量的尖峰和厚板先验来实现的。对于后验推理,我们设计了一个有效的部分折叠吉布斯采样器。仿真研究被用来说明我们的算法。所提出的方法进一步说明了两个真实的数据集的应用程序。
2013-07-10 stat.CO stat.ME
Bayesian views of generalized additive modelling
本文从贝叶斯视角阐释广义加性模型(GAMs),强调其与频率论平滑的联系及在生态学中的应用,重点讨论项/模型选择与不确定性估计。
2025-01-07 stat.ME
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树(MPBART)作为BART-贝叶斯加性回归树的多项式概率扩展(Chipman et al(2010))。MPBART是灵活的,允许包括预测,描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子,我们表明,MPBART具有很好的预测性能相比,其他离散选择和多类分类方法。为了实现MPBART,我们开发了一个R包mpbart,可以从CRAN仓库免费获得。
2016-02-06 stat.ML
Bayesian Generalized Additive Model Selection Including a Fast Variational Option
本文提出贝叶斯广义加性模型选择方法,利用组 LASSO 先验和辅助变量实现 MCMC 与快速平均场变分推断,并提供 R 包支持大规模数据应用。
2023-09-28 stat.ME
SBAMDT: Bayesian Additive Decision Trees with Adaptive Soft Semi-multivariate Split Rules
Texas A&M University(德克萨斯农工大学);University of Cincinnati(辛辛那提大学);Shell International Exploration and Production Inc(壳牌国际勘探与生产公司)
针对标准决策树单变量确定性分裂规则难以捕捉复杂决策边界的问题,提出采用自适应软半多变量分裂规则的SBAMDT概率加性决策树模型,可适配不同平滑度,经多数据集对比验证了其实用性。
2025-01-17 cs.LG math.ST stat.ME
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而,用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中,我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法,大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和(可选)其梯度和费舍尔信息。潜在的应用是非常广泛的,我们考虑的例子在生存分析,结构异方差回归,伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
Nonlinear association structures in flexible Bayesian additive joint models
纵向和生存数据的联合模型已成为纵向生物标志物和事件过程之间的关联建模的重要工具。在现有的共享随机效应模型中,标记物和对数风险之间的关联被假设为线性,该假设通常未被检查。我们提出了一个扩展的框架,灵活的添加剂联合模型,允许估计的非线性,协变量的具体关联,利用贝叶斯P-样条。我们的联合模型估计在贝叶斯框架中使用结构化的添加剂预测的所有模型组件,允许在纵向子模型,生存子模型及其关联的平滑非线性,时变和随机效应条款的规格有很大的灵活性。捕捉真正的线性和非线性关联的能力进行了评估,并在广泛研究的罕见致命性肝病原发性胆汁性肝硬化的生物医学数据上进行了说明。所有方法都在R软件包bamlss中实现,以方便这种柔性关节模型在实际中的应用。
2017-10-23 stat.ME
Generalized Bayesian Additive Regression Trees: Theory and Software
University of South Carolina(南卡罗来纳大学)
本文提出广义贝叶斯树框架,适用于指数族响应变量的非线性回归,理论证明其后验收敛性,并提供Python/R软件实现多种分布模型。
2026-03-23 math.ST stat.ML stat.TH
bartMachine: Machine Learning with Bayesian Additive Regression Trees
我们在R中提出了一个新的包,实现了贝叶斯加性回归树(BART)。该软件包引入了许多新的功能,数据分析使用BART,如变量选择,相互作用检测,模型诊断图,纳入缺失数据和能力,以保存树为未来的预测。它比当前的R实现快得多,并行化,并且能够处理大样本量和高维数据。
2014-11-24 cs.LG stat.ML
Dynamic Treatment Regimes using Bayesian Additive Regression Trees for Censored Outcomes
为了实现为每位患者提供最佳护理的目标,医生需要为具有相同诊断的患者定制治疗方法,特别是在治疗可能进一步发展并需要额外治疗的疾病时,例如癌症。随着疾病的进展,在多个阶段做出决定可以被正式定义为动态治疗方案(DTR)。大多数现有的估计动态治疗方案的优化方法,包括流行的Q-学习方法是在频率论的背景下开发的。最近,一个通用的贝叶斯机器学习框架,促进使用贝叶斯回归建模优化DTR已经提出。在这篇文章中,我们使用贝叶斯加性回归树(BART)为加速故障时间建模框架下的每个阶段,以及模拟研究和实际数据的例子,比较所提出的方法与Q学习的删失结果。我们还开发了一个R包装函数,利用标准的BART生存模型来优化DTR的删失结果。包装器函数可以很容易地扩展以适应任何类型的贝叶斯机器学习模型。
2022-10-24 stat.ME
Fast Bayesian Inference in Nonparametric Double Additive Location-Scale Models With Right- and Interval-Censored Data
惩罚B样条通常用于加性模型,以描述具有定量协变量的响应的平滑变化。它通常通过指数族中的条件均值使用对其他条件矩有间接影响的广义可加模型来完成。另一种常见的策略是集中在几个低阶条件矩,留下完整的条件分布未指定。或者,可以假设响应的多参数分布,其中多个参数使用加法表达式对协变量进行联合回归。我们的工作可以连接到后一个建议的权利或区间删失连续响应具有高度灵活和光滑的非参数密度。我们专注于位置-尺度模型的条件均值和标准差中的附加项。从最近的结果在贝叶斯框架下,我们提出了一个快速收敛的算法来选择惩罚参数,从他们的边际后验。它依赖于样条参数的条件后验的拉普拉斯近似。仿真结果表明,这样得到的估计拥有优良的频率属性和提高效率相比,工作高斯假设的方法。我们说明的方法与分析不精确测量的收入数据。
2020-05-11 stat.ME
GS-BART: Bayesian Additive Regression Trees with Graph-split Decision Rules
GS-BART提出一种基于图分裂规则的贝叶斯加性决策树方法,通过编码图拓扑信息并设计可扩展MCMC算法,在空间和网络数据回归与分类中优于传统集成树和高斯过程模型。
2025-09-08 stat.ME
On Bayesian Generalized Additive Models
广义可加模型(GAM)提供了一种将参数和非参数(函数逼近)技术融合在一起的方法,使它们成为适用于许多建模问题的灵活工具。例如,GAM可用于为标准线性回归模型引入灵活性,以表示现象的“几乎线性”行为。在物理模型中也经常出现对GAM的需求,其中理论给出的模型是现实的近似,并且人们希望将系数表示为函数而不是常数。在本文中,我们将讨论GAM从贝叶斯的角度来看,侧重于线性加性模型,其中最终的模型可以制定为一个线性高斯系统。我们讨论高斯过程(GPs)和本地基函数的方法来描述GAM中的未知函数,并为他们指定先验分布,包括空间变化的平滑技术。GAM与单变量和多变量函数进行了讨论。超参数估计技术,以减轻GAM模型相关的调整问题。本文中讨论的所有示例的实现都是可用的。
2023-03-05 stat.ME
Bayesian model selection in additive partial linear models via locally adaptive splines
我们提供了一个灵活的框架中选择一类添加剂部分线性模型,允许线性和非线性添加剂成分。在实践中,它是具有挑战性的,以确定哪些添加剂成分应被排除在模型,同时确定是否非零添加剂成分应表示为线性或非线性成分在最终的模型。在本文中,我们提出了一种贝叶斯模型选择方法,该方法通过仔细指定的一类模型来实现,包括先验分布的选择和用于非线性添加剂成分的非参数模型。我们采用了一系列的潜变量,确定每个变量之间的三种可能性(无影响,线性效应,非线性效应)的影响,并同时确定每个样条的结的一个合适的惩罚光滑的功能。使用伪先验分布以及折叠方案使我们能够部署性能良好的马尔可夫链蒙特卡罗采样器,用于模型选择和拟合优选模型。我们的方法和算法部署在一套数值研究,并应用于营养流行病学研究。数值结果表明,所提出的方法优于以前可用的方法的有效样本量的马尔可夫链采样器和整体的错误分类率。
2021-09-17 stat.ME
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中,回归树的嵌入已经成为流行的统计工具。然而,尽管线性分位数回归模型越来越受欢迎,但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型,显示出非常好的预测性能,说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations
Yonsei University(延世大学)
RoBART通过为每棵树分配旋转,使BART能高效逼近轴不对齐的边界,并在理论上证明其适应内在维度而轴对齐BART不能。
2026-10-08 cs.LG math.ST stat.ML
Post-Hoc Inference of Cross-Classified Statistics from Hierarchical Bayes Survey Weights
Tam Data Advisory(Tam数据咨询)
本文提出Post-Hoc Inference Engine,用于推断来自校准单位记录数据的跨分类统计,通过校准贝叶斯区间恢复名义覆盖,发现交叉汇总的不确定性主要由组成采样变异驱动。
2026-04-28 stat.ME
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树(BART)模型作为一种通用的非参数建模技术,近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合,它已被证明是唯一适合解决许多科学领域(包括医学和社会科学)中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang(2018)的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外,该软件包的主要目标是促进将BART纳入更大的模型中,使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务,以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
Bayesian machine learning approach for recurrent events studies using Soft Bayesian Additive Regression Trees (SBART)
Florida State University(佛罗里达州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出软贝叶斯加性回归树(SBART)非参数方法,结合软决策树与贝叶斯集成学习,用于复发事件建模,通过两层数据增强实现高效计算,在模拟和实际数据中优于现有方法。
2026-06-12 stat.ME
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型(GAM)是一种成熟的统计工具,用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中,P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间,通过考虑一个确定性的基于网格的策略或马尔可夫链采样器,根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量,这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算,即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验,建议的方法具有良好的统计特性。通过不同的模拟场景,拉普拉斯P样条模型的性能得到证实,并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
Flexible Bayesian additive joint models with an application to type 1 diabetes research
纵向和时间-事件数据的联合建模是越来越受欢迎的重要工具,用于深入了解生物标志物和事件过程之间的关联。我们开发了一个通用框架的灵活添加剂联合模型,允许规格的各种影响,如平滑的非线性,时变和随机效应,在纵向和生存的部分模型。我们的扩展是出于波动的疾病特异性标志物之间的关系的调查,在这种情况下,自身抗体,和自身免疫性疾病1型糖尿病的进展。通过使用贝叶斯P样条,我们特别能够捕获高度非线性的受试者特异性标记物轨迹以及标记物与事件过程之间的时变关联,从而对疾病进展有新的见解。该模型是在贝叶斯框架内估计的,并在R-包bamlss中实现。
2017-01-20 stat.AP stat.ME
Large scale study of primary school student performance relative to their LMS activity and socioeconomic demographics using a Bayesian Additive Regression Trees containing random effects
本研究利用乌拉圭9-12岁学生数据,通过含学校层面随机效应的贝叶斯可加回归树(BART)模型,分析成绩与LMS活动、社会经济地位的关联,可早期识别高风险学生并定位需干预学校,发现低社会经济地位群体中高LMS使用率对成绩的积极影响更大。
2025-06-20 stat.AP stat.ME
Noncrossing structured additive multiple-output Bayesian quantile regression models
分位数回归模型是研究单变量响应变量的条件分布的不同点的有力工具。他们的多元对应扩展并不简单,从多元分位数的定义开始。我们在这里提出了一个灵活的贝叶斯分位数回归模型时,响应变量是多元的,在那里我们能够定义一个结构化的加法框架的所有预测变量。我们建立在以前的想法,考虑一个方向的方法来定义一个响应变量的多个输出的分位数,我们定义在每个方向分位数模型的非交叉分位数。我们定义了一个马尔可夫链蒙特卡罗(MCMC)模型估计过程,其中的非交叉属性得到考虑高斯过程设计模型之间的相关性的几个分位数回归模型。我们说明了这些模型的结果,使用两个数据集:一个在人口中的不平等的维度,如收入和健康;第二个在巴西高中国家考试的学生分数,考虑三个维度的响应变量。
2019-10-18 stat.ME
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树(BART),包括多项逻辑斯谛回归和计数回归,其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而,现有的应用程序的BART已被限制为高斯“数据”,无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是,虽然许多有用的模型是自然铸造的潜在高斯变量,许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略,并仔细指定这些新模型的先验分布。像原来的BART先验一样,新的先验分布经过精心构造和校准,在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
Bayesian Additive Distribution Regression
Department of Statistics and Data Sciences(统计与数据科学系)
DistBART通过贝叶斯加法回归树先验建模分布回归,结合浅层决策树和随机特征近似,实现高效非参数回归与不确定性量化。
2026-03-06 stat.ME stat.ML
Variable Grouping Based Bayesian Additive Regression Tree
School of Mathematics;School of Statistics University of Minnesota, Minneapolis, MN 55455, USA
使用集合方法进行回归在获得高精度预测方面取得了巨大成功。例如Bagging、随机森林、Boosting、BART(贝叶斯加法回归树)及其变体。在本文中,我们提出了一个新的角度命名为变量分组,以提高预测性能。其主要思想是寻找潜在的变量分组,使得不同组的变量之间没有非线性相互作用项。给定一个学习者总和模型,每个学习者将只负责一组变量,这将在建模非线性交互时更有效。我们提出了一个两阶段的方法命名为基于变量分组的贝叶斯加性回归树(GBART)与一个开发良好的Python包gbart可用。第一阶段是寻找潜在的相互作用和适当的变量分组。第二阶段是根据发现的组构建最终模型。对合成数据和真实数据的实验表明,该方法的性能明显优于经典方法。
2019-11-05 cs.LG eess.SP stat.ME
Model Mixing Using Bayesian Additive Regression Trees
针对计算机实验中多物理系统模拟器的预测推断选择问题,提出基于贝叶斯加性回归树的贝叶斯模型混合方法,通过输入依赖的非参数权重捕捉各模拟器局部特性,并应用于核物理有效场论预测组合。
2023-05-05 stat.ME
Nonparametric competing risks analysis using Bayesian Additive Regression Trees (BART)
许多至事件发生时间研究因存在竞争风险而变得复杂。通常使用Cox模型分析这些数据的原因特异性风险函数,或使用Fine-Gray模型分析子分布风险。在实践中,采用任一策略的竞争风险数据中的回归关系通常很复杂,可能包括协变量的非线性函数、相互作用、高维参数空间和非比例原因特异性或子分布危害。模型指定错误会导致预测性能不佳。为了解决这些问题,我们提出了一种新的方法,灵活的预测建模的竞争风险数据使用贝叶斯加性回归树(BART)。我们研究了在两个样本的情况下,以及一个复杂的回归设置的模拟性能,并基准测试其性能对标准的回归技术,以及随机生存森林。我们在最近发表的一项针对接受造血干细胞移植的患者的研究中说明了所提出的方法的使用。
2018-06-29 stat.AP stat.ME
Model-robust Bayesian design through Generalised Additive Models for monitoring submerged shoals
最佳的采样战略是调查更深的珊瑚礁和浅滩系统的关键,由于访问和实地采样这些偏远和了解甚少的生态系统的成本很高。此外,由于水深的原因,无法采用在浅礁系统中使用的既定标准潜水员取样技术。在这里,我们开发了贝叶斯设计策略,以优化采样的浅滩深礁系统使用三年的试点数据。贝叶斯设计通常是通过最大化效用函数关于参数的联合分布的期望和假设的统计模型条件下的响应来找到的。不幸的是,指定这样一个模型的先验是困难的,因为知识的数据生成过程通常是不完整的。为了解决这个问题,我们提出了一种方法来寻找对未知模型不确定性具有鲁棒性的贝叶斯设计。这是通过在广义加性建模框架内表达指定模型并制定先验信息来实现的,该先验信息允许加性组件捕获假设与基础数据生成过程之间的差异。这样做的动机是使贝叶斯设计下的认知模型的不确定性,贝叶斯设计的一个非常理想的属性。我们的方法最初证明了一个范例的设计问题的理论结果推导和用于探索最优设计的属性。然后,我们应用我们的方法来设计未来的监测淹没浅滩关闭澳大利亚西北海岸的目的是显着改善目前的监测设计。
2022-08-30 stat.AP stat.ME
Estimating Shapley Effects in Big-Data Emulation and Regression Settings using Bayesian Additive Regression Trees
本文提出一种基于贝叶斯加性回归树的Shapley效应估计器,适用于高维(数百维)非参数回归,并给出后验一致性理论保证及多维度测试验证。
2025-05-24 stat.ME
Comparison between Suitable Priors for Additive Bayesian Networks
加性贝叶斯网络是一种图形模型,它通过对基础变量的联合概率分布进行因子分解,将通常的贝叶斯广义线性模型扩展到多个因变量。在拟合ABN模型时,参数先验的选择至关重要。如果使用不充分的先验--如信息量太弱的先验--数据分离和数据稀疏会导致模型选择过程中的问题。在这项工作中,两个弱和一个强信息先验之间的模拟研究。作为弱信息先验,我们使用具有大方差的零均值高斯先验,目前在R包abn中实现。第二个先验属于学生t分布,专门为逻辑斯谛回归设计,最后,强信息先验再次是高斯分布,平均值等于真实参数值且方差较小。我们比较了这些先验知识对学习的加性贝叶斯网络在不同参数下的准确性的影响。我们创建了一个模拟研究来说明林德利的悖论的基础上的优先选择。然后,我们的结论是突出了良好的性能的信息学生的t先验和有限的影响林德利悖论。最后,对今后的发展提出了建议。
2018-09-18 stat.AP stat.ME stat.ML
A New Evolutionary Bayesian Approach Incorporating Additive Path Correction for Nonlinear Inverse Problems
提出了一种广义贝叶斯更新方法的演化形式,该方法严格不含导数,但通过基于设计变量统计矩的附加更新项直接求解,可用于一般的非线性反问题,特别适用于光学成像问题,即超声调制光学层析成像(UMOT).附加更新项绕过了传统的基于权重的贝叶斯更新的大多数陷阱,由旨在将适当导出的观测-预测误差项或成本泛函的增量驱动到零均值布朗鞅的测量的变化引起。这构成了一个新的表征对应于极值的成本功能(S),其中的设计未知数表示为扩散过程的不断参数化的迭代变量。这导致了递归预测更新算法来实现搜索。该计划提供了自由的样本退化和随之而来的传统的基于权重的贝叶斯更新计划的分歧。我们得到的条件过程的收敛顺序,也建立了解决方案是稳定的,对可容忍的变化,在正则化噪声项,即使原来的逆问题仍然严重不适定。关于UMOT问题的解决方案的数值证据也证实了通过所提出的方法相对于高斯-牛顿方法的重建效率的实质性改进,特别是在正则化的准牛顿方向对设计未知量的变化具有低敏感性的情况下。
2013-12-16 stat.ME
Inference in Bayesian Additive Vector Autoregressive Tree Models
向量自回归(VAR)模型假设内生变量和滞后之间呈线性关系。这种假设可能过于严格,可能对预测准确性产生有害影响。作为一种解决方案,我们提出了结合VAR和贝叶斯加性回归树(BART)模型。由此产生的贝叶斯加性向量自回归树(BAVART)模型是能够捕捉任意的内生变量和协变量之间的非线性关系,而无需太多的输入从研究人员。由于控制异方差是产生精确密度预测的关键,我们的模型允许误差的随机波动。我们将模型应用于两个数据集。第一个应用程序表明,BAVART模型产生了非常有竞争力的预测美国的利率期限结构。在第二个应用中,我们使用中等规模的欧元区数据集来估计我们的模型,以研究不确定性对经济的动态影响。
2021-03-09 econ.EM stat.ML stat.OT
Bayesian Functional Generalized Additive Models with Sparsely Observed Covariates
McLean等人(2013)最近提出了函数广义可加模型(FGAM),作为常见函数线性模型(FLM)的更灵活的替代方案,用于回归函数协变量的标量。在本文中,我们开发了一个贝叶斯版本的FGAM的高斯误差的情况下,单位链接功能。我们的方法允许函数协变量被稀疏地观察和测量,而McLean et al.(2013)的估计过程要求它们在规则网格上被无噪声地观察。我们认为这两个蒙特卡罗和变分贝叶斯方法拟合FGAM稀疏观测协变量。由于模型后验分布和全条件分布的复杂形式,标准蒙特卡罗和变分贝叶斯算法不能使用。我们使用的策略来处理更新的参数没有封闭形式的完整条件应该是独立的兴趣应用贝叶斯统计学家与非共轭模型。我们的数值研究表明,我们的算法的好处,首先使用标准技术恢复完整的轨迹,然后拟合一个功能回归模型的两步方法。在一个真实的数据分析中,我们的方法被应用到预测在网上拍卖网站eBay上拍卖的物品的收盘价。
2017-05-26 stat.CO stat.ME
Multiplicative noise in Bayesian inverse problems: Well-posedness and consistency of MAP estimators
乘性噪声出现在反问题中,例如,测量的不确定性与测量本身的大小成比例。因此,产生的可能性比来自加性噪声的可能性更复杂。我们考虑两种乘性噪声模型:纯乘性噪声,和乘性噪声和加性噪声的混合。采用贝叶斯方法,我们提供的条件所产生的后验分布在巴拿赫空间上是连续的扰动的数据;除了乘性噪声的加性噪声的列入作为一种形式的正则化,允许温和的条件下的前向映射。此外,我们表明,MAP估计存在的纯乘性和混合噪声模型时,高斯先验,并为后者证明,他们是一致的小噪声限制时,所有的噪声是高斯。
2019-10-31 math.PR math.ST stat.TH
Density Regression with Bayesian Additive Regression Trees
对整个密度如何随协变量变化进行建模是均值和分位数回归的重要但具有挑战性的推广。现有的密度回归方法主要包括协变量依赖的离散混合模型,我们考虑了一个连续的潜变量模型,我们称之为DR-BART。通过贝叶斯加性回归树(BART)的一个新的应用构建的先验映射的潜变量的观察数据。我们证明了我们的模型引起的后验集中在足够光滑的真实生成函数周围。我们还分析了DR-BART在一组具有挑战性的模拟示例上的性能,在这些示例中,它优于贝叶斯密度回归的各种其他方法。最后,我们将DR-BART应用于来自教育测试和经济学的两个真实数据集,以研究学生的成长并预测教育回报。我们提出的采样器是有效的,并允许一个利用巴士的灵活性,在许多应用设置的整个分布的响应是主要的利益。此外,我们的计划在BART内的潜变量的分裂有利于其未来的应用程序,可以通过潜变量,如涉及层次或时间序列数据描述的其他类别的模型。
2021-12-22 stat.ME
Bayesian Additive Regression Trees using Bayesian Model Averaging
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种统计和树模型。它可以被认为是机器学习树集成方法的贝叶斯版本,其中各个树是基本学习者。然而,对于其中变量$p$的数量很大的数据集(例如,$p>5,000$),该算法在计算上可能变得过于昂贵。另一种用于高维数据的流行方法是随机森林,这是一种机器学习算法,它使用贪婪搜索最佳分裂点来生长树。然而,由于它不是一个统计模型,它不能产生概率估计或预测。我们提出了一种替代算法BART称为BART-BMA,它使用贝叶斯模型平均和贪婪的搜索算法来产生一个模型,这是更有效的比BART的数据集与大$p$。BART-BMA结合了BART和随机森林的元素,提供了一个基于模型的算法,可以处理高维数据。我们已经发现,BART-BMA可以在一个合理的时间内运行在一个标准的笔记本电脑上的“小$n$大$p$“的情况下,这是常见的许多领域的生物信息学。我们使用模拟数据和来自两个真实蛋白质组学实验的数据展示了这种方法;一个是区分心血管疾病患者和对照组,另一个是将侵袭性前列腺癌与非侵袭性前列腺癌进行分类。我们将我们的结果与他们的主要竞争对手进行比较。用R和Rcpp编写的运行BART-BMA的开源代码可以在以下网站找到:https://github.com/BelindaHernandez/BART-BMA.git
2015-07-08 stat.CO stat.ME
High Dimensional Bayesian Optimisation and Bandits via Additive Models
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是一种用于优化$D$维函数的技术,该函数的评估通常是昂贵的。虽然BO在低维中取得了许多成功,但将其扩展到高维却非常困难。关于这一主题的现有文献都是在非常严格的背景下编写的。在本文中,我们确定了这一努力中的两个关键挑战。我们通过假设函数的加法结构来解决这些挑战。这个设置比以前的工作更有表现力,包含更丰富的函数类。我们证明了,添加剂功能的遗憾只有线性依赖于$D$,即使该功能依赖于所有$D$尺寸。我们还展示了其他几个统计和计算的好处,在我们的框架。通过合成的例子,一个科学的模拟和人脸检测问题,我们证明了我们的方法优于天真BO的加法函数和几个例子中的功能是不加。
2016-05-13 cs.LG stat.ML
Correlated Bayesian Additive Regression Trees with Gaussian Process for Regression Analysis of Dependent Data
Department of Biostatistics, The University of Texas MD Anderson Cancer Center(德克萨斯大学安德森癌症中心统计系);School of Mathematical and Statistical Sciences, Arizona State University(亚利桑那州立大学数学与统计科学学院)
针对相依数据建模的不足,提出CBART-GP模型,通过加性框架结合CBART与高斯过程提取残差依赖结构,并开发两阶段方差分析方法降低计算复杂度,实现准确的协ariate-响应关系恢复与强预测性能。
2025-09-15 stat.ME
Bayesian structured additive quantile regression for inflated bounded data
University of São Paulo(圣保罗大学);University of Göttingen(哥廷根大学);The Ohio State University(俄亥俄州立大学)
本文提出了一种贝叶斯结构加性分位数回归模型,用于处理膨胀的有界连续数据,能够同时建模连续成分的条件分位数和观测到零或一的概率,并通过模拟和实际数据验证其有效性。
2026-03-04 stat.ME
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania(宾夕法尼亚大学);Medical College of Wisconsin(威斯康星医学院);Arizona State University(亚利桑那州立大学)
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数,并通过后验提供不确定性的贝叶斯量化。但是,BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中,我们使用经典的狄利克雷过程混合(Dirichlet process mixture)机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数,以便在误差接近正态时不会失去标准BART方法的优势,但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
Bayesian Multinomial Logistic Normal Additive Regression for Microbiome Data Analysis
Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
本文提出MultiAddGPs,一种基于贝叶斯多项逻辑正态模型与加性高斯过程的半参数框架,用于高效分离微生物组数据中的线性和非线性协变量效应,显著提升计算速度与后验估计准确性,并产生新的生物学见解。
2026-11-11 stat.AP stat.ME
XBART: Accelerated Bayesian Additive Regression Trees
University of Chicago(芝加哥大学);Arizona State University(亚利桑那州立大学)
贝叶斯加性回归树(Bayesian additive regression trees,BART)(Chipman et.例如,2010)是一个强大的预测模型,在样本外预测方面往往优于其他模型。BART特别适合于具有非结构化预测变量和大量不可测量变化来源的环境,这在社会,行为和健康科学中是典型的。本文提出了一种改进的BART算法,它可以进行快速后验估计。我们提出了一个随机爬山算法,匹配显着的预测精度以前的BART实现,但速度快了很多倍,内存密集度低。仿真研究表明,新方法在计算时间上与随机森林和梯度提升方法相当,在函数估计上更准确。
2019-03-14 cs.LG stat.ML
Generalized Bayesian Additive Regression Trees for Restricted Mean Survival Time Inference
本文提出面向个体RMST预测的广义贝叶斯加性树框架,利用IPCW损失处理信息删失,并通过模拟和乳腺癌多站点队列验证其性能。
2024-02-27 stat.ME
Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization
ESAT-PSI, KU Leuven, Belgium(比利时鲁汶大学ESAT-PSI实验室)
贝叶斯优化(BO)是一种样本有效的全局优化算法的黑箱函数,这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数,提出了可加性树结构协方差函数,提高了样本效率,具有更广泛的适用性和更大的灵活性。此外,通过结合参数空间的结构信息和BO循环中的可加性假设,我们开发了一种并行算法来优化采集函数,这种优化可以在低维空间中进行。我们在优化基准函数以及神经网络模型压缩问题上演示了我们的方法,实验结果表明,我们的方法在条件参数优化方面明显优于现有技术,包括SMAC,TPE和Jenatton等人(2017)。
2020-06-21 cs.LG stat.ML
Improving Neural Additive Models with Bayesian Principles
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Helmholtz AI(亥姆霍兹人工智能研究所);TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出 Laplace 近似神经加性模型 LA-NAMs,利用贝叶斯边际似然、可信区间和特征对排序增强不确定性估计、特征选择与二阶交互识别。
2024-10-26 cs.LG stat.ML
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University(汉密尔顿研究所,梅努斯大学);Maynooth University(梅努斯大学)
本文提出 HE-BART,通过在回归树终端节点嵌入随机效应,构建无需预设随机效应结构的非参数混合效应建模方法,并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes
Maynooth University(梅努斯大学);Hamilton Institute(汉密尔顿研究所);Insight Centre for Data Analytics(洞察数据分析中心)
针对标准 BART 缺乏平滑性和显式协方差结构的局限,提出 GP-BART 模型,通过为所有树的终端节点预测假设 Gaussian process 先验进行扩展,在模拟与真实数据中超越传统方法。
2023-09-14 cs.LG stat.ME stat.ML