Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK（计算与工程学院贝德福德郡大学，卢顿，英国）
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树，建立了理性承诺阈值的完整非渐近理论，回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency
School of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）；MediaTek Research, UK（联发科英国研究院）
该研究针对高斯过程贝叶斯优化问题，提出带定义域收缩的随机探索算法，证明其在有无噪声场景下均达阶最优后悔值，填补无噪声场景研究空白，且计算效率更优。
2024-02-02 cs.LG stat.ML
Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes
Meta；Cornell University（康奈尔大学）
我们考虑贝叶斯优化昂贵的评估实验，产生向量值的结果，决策者（DM）的偏好。这些偏好由效用函数编码，该效用函数以封闭形式未知，但可以通过要求DM表达对结果向量的偏好来估计。为了解决这个问题，我们开发了贝叶斯优化与偏好探索，一个新的框架，交互式实时偏好学习与DM通过成对比较的结果之间的交替，贝叶斯优化与学习的DM效用和结果的组合模型。在这个框架内，我们提出了专门为这项任务设计的偏好探索策略，并通过广泛的模拟研究证明了它们的性能。
2022-03-21 cs.LG math.OC stat.ML
Cover Tree Bayesian Reinforcement Learning
University of Ioannina（约阿尼纳大学）；Chalmers university of technology（查尔姆斯理工大学）
本文提出了一种基于树的在线贝叶斯强化学习方法。对于推理，我们采用了广义上下文树模型。这定义了多变量高斯分段线性模型上的分布，该分布可以以封闭形式更新。树结构本身是使用覆盖树方法构造的，该方法在高维空间中仍然有效。我们结合模型与汤普森采样和近似动态规划，以获得有效的勘探政策在未知的环境。该模型的灵活性和计算简单性使其适用于连续状态空间中的许多强化学习问题。我们证明了这一点，最小二乘政策迭代的实验比较。
2014-05-02 cs.LG stat.ML
On the Effectiveness of Mode Exploration in Bayesian Model Averaging for Neural Networks
Massachusetts Institute of Technology, Lincoln Laboratory（麻省理工学院林肯实验室）
已经出现了在监督学习设置中使用深度神经网络来产生校准的预测概率的多种技术，这些技术利用方法来集成在循环训练或从多个随机起始点（深度集成）进行训练期间发现的不同解决方案。然而，只有有限数量的工作已经调查了探索每个不同的解决方案（后验模式）周围的局部区域的效用。我们在CIFAR-10数据集上使用三种众所周知的深度架构，评估了几种简单的方法，用于探索权重空间的局部区域，包括Brier评分、准确性和预期校准误差。我们考虑贝叶斯推理技术（变分推理和应用于softmax输出层的Hamilton Monte Carlo）以及利用接近最优的随机梯度下降轨迹。虽然将单独的模式添加到合奏统一提高性能，我们表明，这里考虑的简单模式探索方法产生很少或没有改善没有模式探索合奏。
2021-12-07 cs.LG stat.ML
ε-BMC: A Bayesian Ensemble Approach to Epsilon-Greedy Exploration in Model-Free Reinforcement Learning
University of Toronto（多伦多大学）
在强化学习（RL）算法的设计和实现中，如何解决探索-利用的权衡问题一直是一个基本问题。在本文中，我们专注于使用ε贪婪探索策略的无模型RL，尽管它很简单，但仍然是最常用的探索形式之一。然而，该策略的一个关键限制是$\varepsilon$的规范。在本文中，我们提供了一个新的贝叶斯观点的$\varepsilon$作为衡量的Q-价值函数的一致性。我们引入了一个封闭形式的贝叶斯模型更新的基础上贝叶斯模型组合（BMC），基于这个新的角度来看，这使我们能够适应$\varepsilon$使用的经验，在恒定的时间单调收敛的保证。我们证明，我们提出的算法，$\varepsilon$ - \texttt{BMC}，有效地平衡探索和开发不同的问题，执行优化或优于最佳调整的固定退火时间表和替代的数据相关的$\varepsilon$适应计划中提出的文献。
2020-07-02 cs.LG cs.RO stat.ML
Bayesian Rose Trees
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
层次结构在许多领域的数据中普遍存在。有许多层次聚类方法，领域专家经常使用，努力发现这种结构。然而，这些方法中的大多数将可扩展的层次结构限制为具有二进制分支结构的层次结构。这种限制虽然在计算上方便，但通常是不期望的。在本文中，我们探讨了贝叶斯层次聚类算法，可以产生任意分支结构的树，在每个节点，被称为玫瑰树。我们将这些树解释为数据集分区上的混合物，并使用计算效率高，贪婪凝聚算法来找到玫瑰树，这些玫瑰树具有较高的边际似然数据。最后，我们进行实验，证明玫瑰树是更好的数据模型比典型的二叉树返回的其他层次聚类算法。
2012-03-15 cs.LG stat.ML
Bayesian Out-Trees
Columbia University（哥伦比亚大学）
提供了一种用于非iid数据的潜在有向图结构的贝叶斯处理，其中每个子数据被采样为具有对单个未知父数据的有向条件依赖。潜图的结构被假定为位于家庭的有向出树图，从而导致有效的贝叶斯推理。数据的潜在似然性及其梯度可以通过Tutte的有向矩阵树定理使用外拉普拉斯算子的行列式和逆以封闭形式计算。这种新的似然包含iid似然，是可交换的，并产生有效的无监督和半监督学习算法。除了处理分类学和系统发育数据集外，外树假设在标准iid数据集上作为半参数密度估计器表现得令人惊讶。在各种UCI和分类数据集上显示了无监督和半监督学习的实验。
2012-06-13 cs.LG stat.ML
Bayesian Additive Regression Trees with Model Trees
Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）；Maynooth University（梅努斯大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种基于树的机器学习方法，已成功应用于回归和分类问题。BART假设一组树上的正则化先验，这些树作为弱学习者工作，并且在存在非线性和高阶相互作用的情况下非常灵活地进行预测。在本文中，我们介绍了一个扩展的BART，称为模型树BART（MOTR-BART），认为分段线性函数在节点水平，而不是分段常数。在MOTR-BART中，不是在节点级别具有用于预测的唯一值，而是考虑已用作相应树中的分裂变量的协变量来估计线性预测器。在我们的方法中，局部线性更有效地捕获，需要更少的树，以达到相同或更好的性能比BART。通过模拟研究和实际数据的应用，我们比较MOTR-BART的主要竞争对手。MOTR-BART实现的R代码可在https://github.com/ebprado/MOTR-BART上获得。
2021-03-10 cs.LG stat.ML
Top-down particle filtering for Bayesian decision trees
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
决策树学习是机器学习和统计学中分类和回归的一种流行方法，贝叶斯公式--在决策树上引入先验分布，并将学习公式化为给定数据的后验推理--已被证明具有竞争力的性能。与以自上而下方式工作的经典决策树学习算法如ID 3、C4.5和CART不同，现有贝叶斯算法通过经由对树的结构的局部蒙特卡罗修改迭代地演化完整树（或其集合）来产生对后验分布的近似，例如，使用马尔可夫链蒙特卡罗（MCMC）。我们提出了一个序贯蒙特卡罗（SMC）算法，而不是工作在一个自上而下的方式，模仿经典算法的行为和速度。我们的经验表明，我们的方法提供的准确性相比，最流行的MCMC方法，但操作速度超过一个数量级，因此代表了一个更好的计算精度权衡。
2013-08-22 cs.LG stat.ML
Fully Nonparametric Bayesian Additive Regression Trees
University of Pennsylvania（宾夕法尼亚大学）；Medical College of Wisconsin（威斯康星医学院）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian Additive Regression Trees，BART）是一种完全贝叶斯的建模方法。BART可以以相当自动的方式揭示具有高维回归量的复杂回归函数，并通过后验提供不确定性的贝叶斯量化。但是，BART假设IID正常错误。这种强参数假设可能导致误导性推断和不确定性量化。在本文中，我们使用经典的狄利克雷过程混合（Dirichlet process mixture）机制的非参数模型的误差分布。BART的一个关键优势是默认的先验设置在各种问题中都能很好地工作。扩展BART的挑战是选择BART的参数，以便在误差接近正态时不会失去标准BART方法的优势，但BART具有适应非正态误差的能力。
2018-07-09 cs.LG stat.ML
Robust Exploration with Tight Bayesian Plausibility Sets
University of New Hampshire（新罕布什尔大学）
对于许多被证明有效的强化学习算法来说，对状态和动作的乐观态度是探索的主要驱动力。我们提出了乐观面对明智的价值函数（OFVF）-一种新的数据驱动的贝叶斯算法来构建MDP的似然集，以探索鲁棒地最小化最坏情况下的探索成本。该方法通过引入两个新的想法来计算具有更严格的乐观估计的探索策略。首先，它是基于贝叶斯后验分布，而不是分布自由边界。其次，OFVF不构造可扩展性集作为简单的置信区间。置信区间作为相容性集是一个充分条件，但不是必要条件。OFVF使用价值函数的结构来优化可扩展性集合的位置和形状，以直接保证上界，而不必强制要求集合是置信区间。OFVF以发作的方式进行，其中发作的持续时间是固定和已知的。我们的算法本质上是贝叶斯的，可以利用先验信息。我们的理论分析表明，OFVF的鲁棒性，和实证结果表明其实际的承诺。
2019-04-17 cs.AI cs.LG stat.ML
Prediction with Missing Data via Bayesian Additive Regression Trees
The Wharton School of the University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
我们提出了一种方法，将缺失数据在非参数统计学习，而不需要填补。我们专注于一个基于树的方法，贝叶斯加法回归树（BART），增强了“Missingness Incorporated in Attributes”，最近提出的一种方法将missingness纳入决策树（Twala，2008）。这个过程利用了基于树的模型中的分区机制。仿真生成的模型和实际数据表明，我们提出的方法可以很好地预测复杂的失踪在随机和非失踪在随机模型，以及失踪本身影响响应的模型。我们的程序具有更高的预测性能，在许多情况下比竞争对手更稳定。我们还说明了巴士的能力，将缺失到不确定性区间，并检测缺失的模型拟合的影响。
2014-02-12 cs.LG stat.ML
Bayesian optimization for backpropagation in Monte-Carlo tree search
SUTD（新加坡科技设计大学）
在大的域中，需要蒙特卡罗树搜索（MCTS）尽可能高效和准确地估计状态值。然而，反向传播中的标准更新规则假设收益的平稳分布，特别是在最小-最大树中，由于平均化，收敛到真实值的速度可能很慢。我们提出了两种方法，Softmax MCTS和单调MCTS，概括了以前的尝试，以改善后向传播策略。我们证明，这两种方法减少到找到最佳的单调函数，我们这样做的高斯过程（GP）的先验进行贝叶斯优化。我们在计算机Go上进行实验，其中回报由深度值神经网络给出，并表明我们提出的框架优于以前的方法。
2020-01-25 cs.LG stat.ML
Rapid Posterior Exploration in Bayesian Non-negative Matrix Factorization
非负矩阵分解（NMF）是一种流行的数据探索工具。贝叶斯NMF也承诺在因子分解中表征不确定性。不幸的是，目前的推理方法，如MCMC混合缓慢，往往陷入单一模式。我们介绍了一种新的方法，使用快速探索随机树（RRT）渐近覆盖区域的高后验密度。这些被放置在一个原则贝叶斯框架通过在线扩展到非参数变分推断。在真实数据和合成数据上的实验中，我们获得了比标准NMF推理方法更大的后验覆盖率和更高的ELBO值。
2016-10-27 stat.ML
Bayesian Tensor Factorisation for Bottom-up Hidden Tree Markov Models
Università di Pisa（比萨大学）
自底向上的【形】隐树马尔可夫模型是一种高表达能力的树结构数据模型。不幸的是，它不能在实践中使用，由于其棘手的大小的状态转移矩阵。我们提出了一个新的近似，这取决于张量的Tucker因子分解。这种近似的概率解释，使我们能够定义一个新的概率模型树结构的数据。因此，我们定义了新的近似模型，我们推导出它的学习算法。然后，我们实证评估的有效功率的新模型评估它在两个不同的任务。在这两种情况下，我们的模型优于文献中已知的其他近似模型。
2019-05-31 cs.LG stat.ML
Bayesian learning of forest and tree graphical models
University of Bristol（布里斯托大学）
在高斯图模型结构的贝叶斯学习中，通常将注意力限制在某些类别的图上，并通过使用MCMC或诸如随机鸟枪搜索（SSS）的方法重复地从一个图移动到另一个图来近似后验分布。我给两个校正版本的算法不可分解的图形和讨论随机图形分布，特别是作为先验分布。本论文的主要研究课题是贝叶斯森林结构学习。限制对这些图的关注可以使用随机图上的定理来证明。我描述了如何使用Chow $\unicode{x2013}$ Liu算法和矩阵树定理来找到树上的MAP森林和后验分布中的某些量。我给适应版本的MCMC和SSS近似的后验分布的森林和树木，和系统存储这些图，以便很容易选择移动到相邻的图形。实验表明，当真实图是树或稀疏图时，带有树的SSS表现良好。在某些情况下，树或森林的SSS比可分解图的SSS更好。图先验改进了枢纽的检测，但需要大范围的概率。森林上的MCMC不能很好地混合，树木上的MCMC比SSS慢。(For更长的摘要见论文。）
2021-08-31 cs.LG stat.ML
Practical Batch Bayesian Optimization for Less Expensive Functions
Deakin University（迪肯大学）
贝叶斯优化（BO）及其批处理扩展成功地优化了昂贵的黑盒函数。然而，当BO的计算成本可以支配评估黑盒函数的成本时，这些传统的BO方法对于优化不太昂贵的函数还不是理想的。这些不太昂贵的功能的例子是廉价的机器学习模型，通过模拟器进行廉价的物理实验，以及贝叶斯优化中的采集功能优化。在本文中，我们考虑一个批量BO设置的情况下，功能评估是不太昂贵的。我们的模型是基于一种新的探索策略，使用几何距离，提供了一种替代的方式进行探索，选择一个点远离观察到的位置。利用这种直觉，我们建议使用Sobol序列来指导探索，这将摆脱在以前的作品中使用的多个全局优化步骤。基于提出的距离探索，我们提出了一个有效的批量BO方法。我们证明了我们的方法优于其他基线和全局优化方法时，函数的评估是不太昂贵的。
2018-11-05 cs.LG stat.ML
On the Gaussian process limit of Bayesian Additive Regression Trees
本文推导并计算了精确的BART先验协方差函数，将其无限树极限实现为高斯过程回归，发现通过自然调整超参数可使其与标准BART竞争力相当，从而简化模型构建并避开复杂的MCMC算法。
2025-07-11 cs.LG stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对轴对齐BART的局限，提出基于线性组合的斜BART方法，利用数据自适应先验沿随机超平面递归划分特征空间，实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors
SATIE（SATIE实验室）；Université Paris-Saclay（巴黎萨克雷大学）；U2IS（U2IS实验室）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文首次大规模探索深度贝叶斯神经网络后验，研究近似方法、不确定性量化、模式影响及可视化，揭示权重空间对称性（排列与缩放）的关键作用，并计划发布大规模检查点数据集。
2023-10-12 cs.LG stat.ML
Very fast Bayesian Additive Regression Trees on GPU
unifi（乌尼维斯大学）；Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)（统计与计算机科学应用系（DISIA））
针对BART运行慢的问题，提出GPU加速实现，速度提升高达200倍，与XGBoost竞争，并开源在bartz包中。
2026-11-10 cs.LG stat.ML
XBART: Accelerated Bayesian Additive Regression Trees
University of Chicago（芝加哥大学）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian additive regression trees，BART）（Chipman et.例如，2010）是一个强大的预测模型，在样本外预测方面往往优于其他模型。BART特别适合于具有非结构化预测变量和大量不可测量变化来源的环境，这在社会，行为和健康科学中是典型的。本文提出了一种改进的BART算法，它可以进行快速后验估计。我们提出了一个随机爬山算法，匹配显着的预测精度以前的BART实现，但速度快了很多倍，内存密集度低。仿真研究表明，新方法在计算时间上与随机森林和梯度提升方法相当，在函数估计上更准确。
2019-03-14 cs.LG stat.ML
Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments
IDSIA（达勒·莫尔人工智能研究所）
为了最大限度地取得成功，AGI通常需要探索其最初未知的世界。有没有一个最佳的方法来做到这一点？在这里，我们得到一个肯定的答案，为广泛的一类环境。
2011-03-29 cs.AI stat.ML
Curiosity-Driven Exploration via Latent Bayesian Surprise
Ghent University（根特大学）
人类追求知识的内在欲望，也被称为好奇心，被认为是获得技能的过程中必不可少的。在人工好奇心的帮助下，我们可以为当前的控制技术（如强化学习）配备更多的自然探索能力。在这方面，一个有前途的方法是对模型参数使用贝叶斯惊喜，即先验和后验信念之间差异的度量，以利于探索。在这方面的贡献，我们建议应用贝叶斯惊喜在一个潜在的空间代表代理的当前理解的系统的动态，大大降低了计算成本。我们广泛地评估我们的方法，通过测量代理的性能方面的环境探索，连续的任务，并期待在游戏中取得的成绩，视频游戏。我们的模型是计算成本低，积极与当前国家的最先进的方法在几个问题上比较。我们还研究了环境中的随机性所造成的影响，这通常是好奇心驱动的代理商的失败案例。在这种情况下，结果表明，我们的方法是弹性的随机过渡。
2022-02-23 cs.AI cs.LG stat.ML
Efficient Exploration in Binary and Preferential Bayesian Optimization
Sorbonne Université（索邦大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Institut de la Vision（视觉研究所）
贝叶斯优化（BO）是优化昂贵的黑盒函数的有效方法，其寻求在利用（选择可能最大值的参数）和探索（选择我们对目标函数不确定的参数）之间进行权衡。在许多现实世界的情况下，目标函数的直接测量是不可能的，只有二进制测量，如成功/失败或成对比较。为了在这种情况下进行有效的探索，我们表明，BO算法区分不同类型的不确定性是很重要的：认识不确定性，关于未知的目标函数，和任意的不确定性，这来自噪声观测，不能减少。实际上，只有前者对有效的探索才是重要的。在此基础上，我们提出了几个新的采集函数，在二进制和优先BO中优于最先进的算法，同时计算速度快，易于实现。然后，我们将这些获取规则推广到批量学习，其中同时执行多个查询。
2021-10-18 cs.LG math.OC stat.ML
Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
使用集成的神经网络（NN）的量化预测的不确定性是广泛的。然而，目前的理由是直观的，而不是分析。这项工作提出了一个小的修改，正常的合奏方法，我们证明允许合奏执行贝叶斯推断，因此收敛到相应的高斯过程的NN的总数，每个的大小，趋于无穷大。这篇工作论文提供了强化学习环境中的早期结果，分析了该技术在小的有限数量集合中的实用性。使用锚定集合产生的不确定性估计来管理探索-利用过程，可以产生更好、更稳定的学习。
2018-07-02 cs.AI cs.LG stat.ML
Model-based Lifelong Reinforcement Learning with Bayesian Exploration
Brown University（布朗大学）
我们提出了一个基于模型的终身学习方法，估计一个分层贝叶斯后提炼的共同结构，在不同的任务。学习的后验结合基于样本的贝叶斯探索过程，提高了相关任务家族学习的样本效率。我们首先推导出分析样本复杂度和初始化质量之间的关系后，在有限的MDP设置。接下来，我们通过引入变分贝叶斯终身强化学习算法将该方法扩展到连续状态域，该算法可以与最近基于模型的深度RL方法相结合，并且具有向后转移。几个具有挑战性的领域的实验结果表明，我们的算法实现了更好的前向和后向传输性能比国家的最先进的终身RL方法。
2022-10-20 cs.LG
Evolving Robustness--Exploration Trade-off in Online Reinforcement Learning via Quantile Bayesian Risk MDPs
School of Industrial and Systems Engineering（工业与系统工程系）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于分位数贝叶斯风险MDP的自适应算法，通过动态调整分位数水平来平衡早期鲁棒性与后期探索，并证明了亚线性贝叶斯遗憾界。
2026-05-23 cs.LG
Bayesian Optimization with Preference Exploration using a Monotonic Neural Network Ensemble
University of Warwick（沃里克大学）；Amazon（亚马逊）
本文提出基于单调神经网络集合的贝叶斯优化方法，通过整合单调性提升性能，优于现有方法并具备噪声鲁棒性。
2026-01-14 cs.LG math.OC stat.ML
RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior
本文提出RJHMC-Tree方法，利用哈密顿蒙特卡洛结合似然几何结构高效探索贝叶斯决策树后验，并在标准数据集上验证其在预测准确率、接受率和树复杂度方面的优势。
2023-12-04 cs.LG stat.CO stat.ML
Efficient Exploration through Bayesian Deep Q-Networks
Caltech（加州理工学院）
研究了高维情景马尔可夫决策过程（MDP）中的强化学习（RL）.我们考虑基于值的RL时，最佳Q值是一个线性函数的d维状态-动作特征表示。例如，在深度Q网络（DQN）中，Q值是特征表示层（输出层）的线性函数。我们提出了两个算法，一个基于乐观，LINUCB，另一个基于后验采样，LINPSRL。我们保证频率论和贝叶斯后悔上界的O（d sqrt{T}）这两个算法，其中T是情节的数量。我们将这些方法扩展到深度RL，并提出贝叶斯深度Q网络（BDQN），它使用高效的Thompson采样算法进行高维RL。我们部署了双DQN（DDQN）方法，并且我们不是使用线性回归来学习Q网络的最后一层，而是使用贝叶斯线性回归，从而得到Q函数的近似后验。这使我们能够直接将不确定性纳入Q函数，并在学习的后验分布上部署Thompson采样，从而实现有效的探索/利用权衡。我们实证研究了BDQN在各种Atari游戏上的行为。由于BDQN进行更有效的勘探和开采，因此与DDQN相比，它能够更快地获得更高的回报。
2019-09-06 cs.AI cs.LG stat.ML
BARK: A Fully Bayesian Tree Kernel for Black-box Optimization
Imperial College London（伦敦帝国理工学院）；BASF SE（巴斯夫公司）
提出 BARK，一种基于 BART 的完全贝叶斯树核，通过 MCMC 捕捉树结构与函数分布的不确定性，以构建采集函数并支持混合特征空间的黑盒全局优化。
2025-06-06 cs.LG math.OC stat.ML
Tractable Bayesian Learning of Tree Belief Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了可分解的先验，一个家庭的先验结构和参数的树的信念网，贝叶斯学习与完整的意见是易于处理的，在这个意义上说，后验也是可分解的，可以完全确定在多项式时间分析。这遵循两个主要结果：第一，我们证明了图中的生成树上的因子化分布可以以封闭的形式集成。其次，我们检查先验树参数，并表明，一组假设（Heckerman等人，1995年）约束树参数先验是一个复杂的参数化产品的Dirichlet分布。除了允许精确的贝叶斯学习，这些结果使我们能够制定一类新的易处理的潜在变量模型，其中的数据点的可能性是通过整体平均计算超过树结构。
2013-01-16 cs.AI cs.LG stat.ML
AutoBayes: Automated Bayesian Graph Exploration for Nuisance-Robust Inference
Northeastern University（东北大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
学习捕获任务相关特征但不受干扰变化影响的数据表示仍然是机器学习中的关键挑战。我们引入了一个自动贝叶斯推理框架，称为AutoBayes，它探索了连接分类器，编码器，解码器，估计器和对抗网络块的不同图形模型，以优化滋扰不变的机器学习管道。AutoBayes还支持学习分解表示，其中潜在变量被拆分为多个部分，以施加与滋扰变量和任务标签的各种关系。我们在几个公共数据集上对框架进行了基准测试，并分析了它在有/没有变分建模和对抗训练的情况下进行主题迁移学习的能力。我们展示了一个显着的性能改善与集成学习探索图形模型。
2020-11-30 cs.LG eess.SP stat.ML
Bayesian quantile additive regression trees
在给定一组预测变量的条件均值估计中，回归树的嵌入已经成为流行的统计工具。然而，尽管线性分位数回归模型越来越受欢迎，但分位数回归树及其集成尚未获得太多关注。这项工作提出了一个贝叶斯分位数加性回归树模型，显示出非常好的预测性能，说明使用模拟研究和实际数据的应用。还考虑了进一步扩展以解决二进制分类问题。
2016-07-10 stat.ML
Bayesian Inference in Monte-Carlo Tree Search
IBM TJ Watson Research Center（IBM TJ沃森研究中心）
蒙特卡罗树搜索（MCTS）方法在计算机围棋中取得突破性成果后，引起了人们极大的兴趣。本文提出了一种MCTS的贝叶斯方法，该方法受到UCT [13]等无分布方法的启发，但在重要方面有显着不同。贝叶斯框架允许潜在的更准确的（贝叶斯最优）估计节点值和节点的不确定性，从有限数量的模拟试验。我们进一步提出通过快速分析高斯近似方法在树中传播推理：这可以使贝叶斯推理的开销在Go等领域中易于管理，同时保持期望值估计的高准确性。我们发现UCT在理想化的Bandit-Tree测试环境中表现出色，通过与已知的地面实况进行比较，我们可以获得有价值的见解。此外，我们严格证明了政策和政策的收敛性所提出的方法。
2012-03-15 cs.AI cs.LG stat.ML
MPBART - Multinomial Probit Bayesian Additive Regression Trees
本文提出了多项式概率贝叶斯加性回归树（MPBART）作为BART-贝叶斯加性回归树的多项式概率扩展（Chipman et al（2010））。MPBART是灵活的，允许包括预测，描述观察单位以及可用的选择方案。通过两个模拟研究和四个真实数据的例子，我们表明，MPBART具有很好的预测性能相比，其他离散选择和多类分类方法。为了实现MPBART，我们开发了一个R包mpbart，可以从CRAN仓库免费获得。
2016-02-06 stat.ML
Advances in Learning Bayesian Networks of Bounded Treewidth
Universidade de São Paulo（圣保罗大学）；Dalle Molle Institute for Artificial Intelligence（达莱莫莱人工智能研究所）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
这项工作提出了新的算法学习贝叶斯网络结构与有界树宽。精确和近似的方法。精确的方法结合了混合整数线性规划公式的结构学习和树宽计算。近似方法包括均匀采样$k$ -树（树宽$k$的最大图），随后精确或近似地选择其道德图是该$k$ -树的子图的最佳结构。这些方法的一些性质进行了讨论和证明。经验的方法进行比较，彼此和一个国家的最先进的方法，用于学习有界树宽结构的公共数据集的集合，多达100个变量。实验表明，我们的精确算法优于最先进的国家，近似的方法是相当准确的。
2014-06-06 cs.AI cs.LG stat.ML
Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach
树集合，如随机森林和提升树，以其高预测性能而闻名。然而，由于其巨大的复杂性，其可解释性受到严重限制。在这项研究中，我们提出了一种方法，使一个复杂的树集成可解释的简化模型。具体来说，我们形式化的简化树集成作为一个模型选择问题。给定一个复杂的树系综，我们的目标是获得最简单的表示，基本上相当于原来的。为此，我们推导出一个贝叶斯模型选择算法，优化简化模型，同时保持预测性能。我们在几个数据集上的数值实验表明，复杂的树系综是合理的近似解释。
2017-02-28 stat.ML
Bayesian Exploration Networks
University of Oxford（牛津大学）；New York University（纽约大学）
本文提出贝叶斯探索网络（BEN），一种无模型贝叶斯强化学习方法，通过归一化流建模不确定性，首次证明无模型方法可达到贝叶斯最优，并在现有方法失败的任务中成功。
2024-06-25 cs.LG
Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling
Columbia University（哥伦比亚大学）
强化学习研究如何平衡现实世界系统中的探索和利用，优化与世界的交互，同时学习世界如何运作。用于这种学习的一个一般类的算法是多臂强盗设置。随机概率匹配，在20世纪30年代推出的汤普森抽样方法的基础上，最近已被证明表现良好，并享有可证明的最优属性。它允许在贝叶斯设置中生成可解释的建模，其中包含先验知识，并且计算的后验自然捕获知识的全部状态。在这项工作中，我们利用贝叶斯后验中包含的信息，并通过抽样估计其充分统计量。在几个应用领域，例如在健康和医学中，与世界的每次交互都可能是昂贵的和侵入性的，而从模型中提取样本相对便宜。利用这一观点，我们开发了一种由学习过程中的不确定性驱动的双重抽样技术：当确定每个臂的属性时，它有利于开发，否则进行探索。该算法不做任何分布假设，只要贝叶斯后验更新是可计算的，它适用于复杂的回报分布。利用估计的后验充分统计量，双重抽样自主地平衡探索-开发权衡，以做出更明智的决策。我们的经验表明，减少累积遗憾相比，国家的最先进的替代品在代表性的土匪设置。
2018-08-08 cs.LG stat.CO stat.ML
On Efficient Bayesian Exploration in Model-Based Reinforcement Learning
The Alan Turing Institute（艾伦·图灵研究所）
本文针对强化学习中数据高效探索问题，提出基于贝叶斯探索的预测轨迹采样框架PTS-BE，将信息论探索奖励与基于模型的规划相结合，并在稀疏奖励和纯探索环境中验证其显著优于基线方法。
2025-07-03 cs.LG
Particle Gibbs for Bayesian Additive Regression Trees
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
加法回归树是一种灵活的非参数模型，也是现实世界中非线性回归的常用工具。在应用领域，如生物信息学，也有需求的概率预测与不确定性的措施，贝叶斯加性回归树（BART）模型，介绍了Chipman等人。（2010），越来越受欢迎。然而，随着数据集规模的增长，用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地，这些马尔可夫链对树进行局部改变，并且当数据是高维的或者最佳拟合树超过几层深度时，遭受缓慢混合。我们提出了一种基于粒子吉布斯（PG）算法的BART新采样器（Andrieu等人，2010）和用于贝叶斯决策树的自上而下的粒子滤波算法（Lakshminarayanan等人，2013年）。PG采样器不是对单个树进行局部更改，而是提出一个完整的树来拟合残差。实验表明，PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而，用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中，我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法，大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和（可选）其梯度和费舍尔信息。潜在的应用是非常广泛的，我们考虑的例子在生存分析，结构异方差回归，伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
A Bayesian Sampling Approach to Exploration in Reinforcement Learning
Rutgers University（罗格斯大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个模块化的方法来强化学习，使用贝叶斯表示模型的不确定性。BOSS（Best of Sampled Set，最佳采样集）方法通过从后验中采样多个模型并乐观地选择行动来驱动探索。它扩展了以前的工作，提供了一个规则，决定何时重新采样和如何组合的模型。我们表明，我们的算法实现了接近最优的奖励，具有较高的概率与样本的复杂性，这是相对较低的后验分布在学习过程中收敛的速度。我们证明，BOSS表现相当有利相比，国家的最先进的学习方法，并说明其灵活性，它与一个非参数模型，概括跨国家配对。
2012-05-09 cs.LG
Bayesian Learning of Clique Tree Structure
The Johns Hopkins Applied Physics Laboratory（约翰斯·霍普金斯应用物理实验室）
研究了高维分类数据的分析问题。讨论了概率建模的基本困难，并提出了一种基于团树分解的贝叶斯学习的高维概率分布推导的解决方案。本文的主要贡献是一个自动确定的最佳集团树结构的概率建模，由此产生的概率分布，并相应的统一的方法来聚类和异常检测的概率分布的基础上。
2017-08-23 cs.LG math.PR stat.ML
Comparing Nonparametric Bayesian Tree Priors for Clonal Reconstruction of Tumors
University of Toronto（多伦多大学）
统计机器学习方法，特别是非参数贝叶斯方法，已经变得越来越流行，以推断肿瘤的克隆群体结构。在这里，我们描述了treeCRP，中国餐馆过程（CRP），一个流行的建设中使用的非参数混合模型的扩展，以推断癌细胞的人口中所代表的主要亚克隆谱系的遗传和基因型。我们还提出了新的分裂合并更新量身定制的亚克隆重建问题，提高混合时间的马尔可夫链。与PhyloSub中使用的树结构棒断裂之前相比，我们使用treeCRP与我们新的拆分-合并程序展示了优越的混合和运行时间。我们还表明，给定相同数量的样本，TSSB和treeCRP具有相似的恢复肿瘤亚克隆结构的能力。
2014-08-11 cs.LG q-bio.PE stat.ML
Generalized Bayesian Ensemble Survival Tree (GBEST) model
University of Pavia（帕维亚大学）；Bocconi University（博科尼大学）
针对小样本与删失数据下的生存分析难题，提出融合 Beta Stacy 贝叶斯 bootstrap 的 bagging 生存树模型 GBEST，并以 R 包开源，实证显示其预测性能与稳定性优于经典模型。
2025-03-14 cs.LG stat.ME stat.ML
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Ohio State University（俄亥俄州立大学）
本文提出随机化分片贝叶斯加性回归树（SBT），通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型，并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
BET: Bayesian Ensemble Trees for Clustering and Prediction in Heterogeneous Data
我们提出了一种新的“树平均”模型，利用分类和回归树（CART）的合奏。每个组成树估计与相似的数据的子集。我们把这个分组的子集贝叶斯集成树（BET）和模型作为一个无限的混合Dirichlet过程。我们表明，BET适应数据的异质性，并准确地估计每个组件。与Bootstrap-聚集方法相比，BET以较少的树显示出更好的预测性能。我们开发了一个有效的估计过程与改进的抽样策略在CART和混合模型。我们通过模拟、乳腺癌分类和囊性纤维化患者肺功能测量的回归来证明BET的这些优点。关键词：贝叶斯CART;狄利克雷过程;包围方法;异质性;混合树。
2014-08-18 stat.CO stat.ML
Bayesian Optimization by Kernel Regression and Density-based Exploration
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, P. R. China（上海交通大学紫阳学院）；School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai 200240, P. R. China（上海交通大学数学科学学院）；Shanghai Institute of Aerospace Systems Engineering, Shanghai 201109, P. R. China（上海航天系统工程研究院）；Department of Mathematics, Shanghai University, Shanghai 200444, P. R. China（上海大学数学系）；Newtouch Center for Mathematics of Shanghai University, Shanghai University, Shanghai 200444, P. R. China（上海大学数学中心）
该研究提出了一种新的贝叶斯优化算法BOKE，通过核回归和密度探索结合，减少计算成本至二次复杂度，并在理论和实验上证明了其收敛性和有效性。
2026-06-15 cs.LG math.OC stat.ML
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
A closed-form approach to Bayesian inference in tree-structured graphical models
我们考虑在一个精确的贝叶斯框架中的无向图模型的结构的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。这个任务将是棘手的，没有任何限制所考虑的图，所以我们限制我们的探索混合生成树。我们考虑在贝叶斯框架中的无向图模型的结构的推断。为了避免收敛问题和高要求的蒙特卡罗采样，我们专注于精确的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。为了这个目的，我们限制了一组考虑图的混合物的生成树。我们调查的条件下，先验-对树结构和参数-精确的贝叶斯推断可以实现。在这些条件下，我们得到了一个快速的精确算法来计算后验概率的边缘属于{树模型}使用一个代数结果称为矩阵树定理。我们表明，我们所做的假设并不妨碍我们的方法在合成和流式细胞术数据上表现良好。
2017-05-01 stat.ML
