Very fast Bayesian Additive Regression Trees on GPU
unifi（乌尼维斯大学）；Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)（统计与计算机科学应用系（DISIA））
针对BART运行慢的问题，提出GPU加速实现，速度提升高达200倍，与XGBoost竞争，并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Bayesian Inference for Multivariate Spatial Models with R-INLA
用于空间数据分析的贝叶斯方法和软件现在在科学界已普遍成熟。尽管空间模型应用广泛，但在现有文献中，使用R-INLA分析多变量空间数据并没有被广泛描述。因此，本文的主要目的是证明R-INLA是一个方便的工具箱，分析不同类型的多元空间数据集。此外，这将通过分析三个公开的数据集来说明。此外，这些分析的细节和R代码提供给说明如何调整多变量空间数据集与R-INLA。
2022-12-21 stat.CO stat.ME
A Greedy, Flexible Algorithm to Learn an Optimal Bayesian Network Structure
University at Buffalo, The State University of New York（布法罗大学，纽约州立大学）
在这份报告中，我们首先提出了一份报告的高级机器学习课程项目提供的数据集，然后提出了一种新的启发式算法，精确贝叶斯网络（BN）的结构发现，使用可分解的评分函数。我们的算法遵循不同的方法来解决BN结构发现的问题比以前使用的方法，如动态规划（DP）和分支定界，以减少搜索空间，并找到全局最优空间的问题。我们提出的算法有一定程度的灵活性，可以使它或多或少的贪婪。算法被设置为贪婪的越多，算法的速度就越快，最终的结构就越不优化。我们的算法运行在一个更少的时间比以前已知的方法，并保证有接近99%的最优性。因此，它牺牲了不到1%的最佳结构的得分，以获得更低的运行时间，并使算法适用于大数据集（我们可能会注意到，除了结果验证，我们从未使用任何工具箱）
2014-11-24 cs.AI stat.ML
Bayesian probabilistic models for corporate context, with an application to internal audit activities
在本文中，我们提出了一个商业案例，在意大利邮政，在公平的绩效评估的背景下，从事内部审计活动的人力资源。除了开发支持意大利邮政内部审计部门目标的贝叶斯网络外，这项工作还开发了一种在企业环境中进行高级分析的方法，其实用性远远超出了本文所述的具体用例。因此，我们提出了这样的分析策略的不同阶段，从功能选择，模型结构推理和模型选择，作为一个通用的工具箱，允许一个完全透明和可解释的过程，以支持数据驱动的决策在商业环境中。
2021-10-03 stat.AP
Bayesian exponential family projections for coupled data sources
Aalto University（阿尔托大学）；School of Science and Engineering（科学与工程学院）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
近年来，指数族扩展主成分分析（EPCA）受到了相当多的关注，这表明人们越来越需要不假设平方损失或高斯分布的基本建模工具。在EPCA统一表示为指数族自然参数矩阵分解的基础上，提出了偏最小二乘和典型相关分析的第一指数族多视图学习方法，扩展了EPCA模型工具箱。该模型是基于一个新的家庭的先验，一般可用于所有此类分解。我们还介绍了新的推理策略，并演示了如何的方法优于早期的高斯假设不成立时。
2012-03-15 cs.LG stat.ML
Bayesian Nonparametric Hidden Semi-Markov Models
层次狄利克雷过程隐马尔可夫模型（HDP-HMM）作为无处不在的隐马尔可夫模型的自然贝叶斯非参数扩展，用于从序列和时间序列数据中学习，引起了人们的极大兴趣。然而，在许多设置中，HDP-HMM的严格马尔可夫约束是不可取的，特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构，利用显式持续时间的半马尔可夫，这主要是在参数频率论的设置，允许建设高度可解释的模型，承认自然的先验信息状态持续时间。在本文中，我们介绍了显式持续时间层次狄利克雷过程隐半马尔可夫模型（HDP-HSMM），并开发了有效的后验推理的采样算法。我们介绍的方法也提供了新的方法在有限贝叶斯HSMM抽样推断。我们的模块化吉布斯抽样方法可以嵌入到更大的分层贝叶斯模型的采样器中，在贝叶斯推断工具箱中添加半马尔可夫链建模作为另一种工具。我们证明了HDP-HSMM和我们的推理方法在合成和真实实验上的实用性。
2012-09-07 stat.AP stat.ME stat.ML
Rotation Invariant Householder Parameterization for Bayesian PCA
Goethe University（歌德大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们认为概率PCA和相关的因素模型从贝叶斯的角度。这些模型通常无法识别，因为可能性具有旋转对称性。这会产生复杂的后验分布与连续的子空间的等密度，从而阻碍了效率的推断，以及获得的参数的解释。特别是，因子载荷的后验平均值变得毫无意义，只有模型预测是明确的。在这里，我们提出了一个参数化的基础上Householder变换，它删除了旋转对称的后验。此外，通过依赖于随机矩阵理论的结果，我们建立的参数分布，使模型不变的原始旋转对称配方相比。特别是，我们避免了需要计算的雅可比行列式的参数变换。这使我们能够在任何现有技术工具箱中以旋转不变的方式有效地实现概率PCA。在这里，我们在概率编程语言Stan中实现了我们的模型，并在几个示例中进行了说明。
2019-05-12 cs.LG stat.ML
mlr3mbo: Bayesian Optimization in R
Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of St Andrews（圣安德鲁大学）
介绍mlr3mbo，一个模块化的R语言贝叶斯优化工具箱，支持单/多目标优化、多提议、并行化，并通过坐标下降搜索和基准测试验证其性能与现有优化器相当。
2026-06-09 cs.LG stat.ML
mlrMBO: A Modular Framework for Model-Based Optimization of Expensive Black-Box Functions
我们提出了mlrMBO，一个灵活而全面的R工具箱，用于基于模型的优化（MBO），也称为贝叶斯优化，它通过替代回归模型近似给定的目标函数来解决昂贵的黑盒优化问题。它被设计用于具有混合连续、分类和条件参数的单目标和多目标优化。其他功能包括多点批处理建议，并行化，可视化，日志记录和错误处理。mlrMBO以模块化的方式实现，使得单个组件可以容易地被用户替换或调整用于特定的用例，例如，可以使用来自用于机器学习的MLR工具箱的任何回归学习器，并且填充准则和填充优化器是容易互换的。我们经验证明，mlrMBO提供了最先进的性能，通过比较它在不同的基准测试方案对广泛的其他优化，包括DiceOptim，rBayesianOptimization，SPOT，SMAC，Spearmint和Hyperopt。
2018-12-03 stat.ML
A PAC-Bayesian Link Between Generalisation and Flat Minima
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息与自动化研究所）；University College London（伦敦大学学院）
针对过参数化机器学习模型泛化能力的开放问题，该研究结合PAC-Bayes工具箱与庞加莱、对数索伯列夫不等式，提出含梯度项的新型泛化界，揭示平坦极小值对泛化性能的积极影响。
2025-02-11 cs.LG stat.ML
Bayesian Projection Pursuit Regression
在投影寻踪回归（PPR）中，未知响应函数由M个“脊函数”的和来近似，所述脊函数是多变量输入空间的一维投影的灵活函数。传统上，优化例程用于经由顺序算法来估计投影方向和脊函数，并且M通常经由交叉验证来选择。我们介绍了第一个贝叶斯版本的PPR，它具有准确的不确定性量化的好处。为了学习投影方向和脊函数，我们应用了用于单脊函数情况（M=1）的新方法，称为单指数模型，贝叶斯实现确实存在;然后使用可逆跳MCMC来学习脊函数M的数量。我们评估了我们的模型在20个模拟场景和23个真实数据集中的预测能力，并与一系列最先进的回归方法进行了对比。它的有效性能表明贝叶斯投影寻踪回归是对现有回归工具箱的一个有价值的补充。
2022-10-17 stat.ME
DCEDesignSA: A MATLAB-based Graphical User Interface for Discrete Choice Experiment Design Using Simulated Annealing
Maastricht University（马斯特里赫特大学）；University of Calgary（卡尔加里大学）
研究利用DCEDesignSA包生成贝叶斯D最优离散选择实验设计，用模拟退火搜索设计空间，贡献是有交互图形界面，非编程人员也能操作，还支持多种效应。
2026-07-07 stat.CO
Adaptive Nonparametric Perturbations of Parametric Models with Generalized Bayes
Columbia University（哥伦比亚大学）；Technical University of Denmark（丹麦技术大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）；University of Michigan（密歇根大学）
本文提出一种自适应非参数化修正方法，用于改进参数贝叶斯模型的鲁棒性和效率，通过广义贝叶斯方法避免非参数贝叶斯因子计算，应用于单细胞RNA测序数据中的基因表达因果效应估计。
2026-04-01 stat.ME stat.ML
Efficient multidisciplinary design via Bayesian optimization
ONERA, Université de Toulouse（法国国家航空航天研究院，图卢兹大学）；Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse（ENAC ISAE-SUPAERO ONERA 联盟，图卢兹大学）；IRIT, UMR 5505 CNRS, Université Toulouse Capitole, Université de Toulouse（IRIT研究所，CNRS联合研究实验室5505，图卢兹第一大学，图卢兹大学）；ICA, Université de Toulouse, ISAE–SUPAERO, INSA, CNRS, MINES ALBI, UPS（ICA实验室，图卢兹大学，ISAE-SUPAERO国立高等航空航天学院，法国国立应用科学学院，法国国家科学研究中心，阿尔比矿业学院，图卢兹第三大学）
研究针对航空等领域复杂计算系统，提出贝叶斯优化工具SEGOMOE，利用自适应高斯过程模型处理混合变量，结合专家模型解决非线性问题，支持多保真度数据，经验证在多学科设计中稳健通用。
2026-07-28 math.OC stat.ML
Probabilistic Network Metrics: Variational Bayesian Network Centrality
网络度量是网络分析工具箱的基本组成部分。这些指标用于定量测量网络的不同方面，可以深入了解底层网络结构和功能。在这项工作中，我们将网络度量与现代概率机器学习联系起来。我们专注于中心性度量，这是使用各种各样的应用程序，从网络搜索到基因分析。首先，我们制定了一个基于特征向量的贝叶斯中心模型来确定节点的重要性。与现有的方法相比，我们的概率模型允许同化多个边权重观测，包括先验和提取的不确定性。为了实现易于处理的推理，我们开发了一个变分下界（VBC），该下界在各种网络（两个合成图和五个真实世界图）上被证明是有效的。然后，我们将此模型与稀疏高斯过程连接起来。稀疏变分贝叶斯中心性高斯过程（VBC-GP）学习节点属性到潜在中心性之间的映射，因此能够从节点特征预测中心性，并且可以仅使用有限数量的诱导输入来潜在地表示大量节点。实验表明，VBC-GP学习高质量的映射，并优于两步基线，即，在节点属性和预先计算的中心性上训练的完整GP。最后，我们提出了两个案例研究使用VBC-GP：第一，以确定相关功能的出租车运输网络，第二，分发数量有限的疫苗，以减轻病毒爆发的严重程度。
2015-06-03 stat.ML
Bayesian wavelet de-noising with the caravan prior
根据领域专家知识和经验证据，真实信号的小波系数往往表现出聚类模式，因为它们包含相似幅度（大或小）的系数的连接区域。考虑到信号的这种特征的小波去噪方法在实践中可以在估计的估计误差和视觉外观方面优于其他更普通的方法。出于这种观察，我们提出了一种贝叶斯方法小波去噪，相邻小波系数之间的依赖关系是先验建模通过一个基于马尔可夫链的先验，我们术语的大篷车先验。在我们的方法中的后验计算是通过吉布斯采样器。使用有代表性的合成和真实数据的例子，我们进行了详细的比较，我们的方法与基准经验贝叶斯去噪方法（由于Johnstone和Silverman）。我们表明，大篷车事先票价以及因此是一个有用的除了小波去噪工具箱。
2019-09-07 stat.ME
Eryn : A multi-purpose sampler for Bayesian inference
本研究提出整合多种贝叶斯推断进展的MCMC算法，构建了多用途工具箱Eryn，可处理从简单推断到跨维度的参数估计与模型选择问题，并通过多类用例验证其功能。
2023-10-10 astro-ph.CO astro-ph.IM gr-qc
A Sufficient Statistics Construction of Bayesian Nonparametric Exponential Family Conjugate Models
The Ohio State University（俄亥俄州立大学）；Boston University（波士顿大学）
无穷维空间上的共轭分布对在统计学习理论中很突出，特别是由于贝叶斯非参数方法广泛应用于许多模型和应用。在学习社区中，现有的许多文献都集中在具有某种形式的计算上易处理的共轭性的过程上，例如beta和gamma过程（以及通过归一化的Dirichlet过程）。对于这些过程，共轭性的证明和必要的推导后验密度参数的明确计算公式是特质的随机过程的问题。因此，贝叶斯非参数模型目前可用于有限数量的共轭对，例如狄利克雷多项式和贝塔伯努利过程对。在上述每种情况下，似然过程都属于离散指数族分布。从贝叶斯非参数共轭模型的已知情况中排除连续似然分布是研究人员工具箱中的一个差异。在本文中，我们首先解决的问题，获得一个一般的建设先验分布在无限维空间具有分布性质服从共轭。其次，我们桥接离散和连续的可能性之间的鸿沟，说明了一个典型的建设随机过程的Levy测量密度是从正指数家庭，然后证明这些过程实际上形成的前，可能性，和后的共轭家庭。我们的规范建设包括已知的后验密度参数的计算公式的情况下，其中的可能性是从一个离散分布属于一个指数家庭。
2016-01-10 cs.LG stat.ML
Adversarial Message Passing For Graphical Models
Geometric Intelligence
结构化模型上的贝叶斯推断通常依赖于推断潜在隐藏变量的后验分布的能力。然而，在隐式模型或复杂后验分布中的推断是困难的。学习隐式模型的一种流行工具是生成对抗网络（GANs），它通过欺骗鉴别器来学习生成器的参数。通常，GANs被认为是模型本身，而不是在推理的上下文中理解。当前的技术依赖于联合分布的低效全局判别来执行学习，或者仅考虑判别单个输出变量。我们通过将GANs作为生成模型中无似然推理的基础来克服这些限制，并将其推广到因子图上的贝叶斯后验推理。我们提出了本地学习规则的消息传递的基础上，最大限度地减少了全球分歧的标准，涉及合作的本地对手用来回避明确的似然评估。这使我们能够构建模型，并为对抗学习提供统一的推理和学习框架。我们的框架单独对待模型规范和推理，并促进有向无环图家族中结构丰富的模型，包括棘手的似然性、不可微模型、模拟器和通常繁琐的模型等组件。我们的治疗的一个关键结果是洞察结构化模型的贝叶斯推断，可以只进行抽样和歧视时，使用非参数变分家庭，没有访问显式分布。作为一个副作用，我们讨论了链接到似然最大化。这些方法有望在概率建模工具箱中发挥作用，并丰富了当前概率编程应用的范围。
2016-12-15 cs.AI stat.ML
On Identification of Sparse Multivariable ARX Model: A Sparse Bayesian Learning Approach
University of Cambridge（剑桥大学）；Huazhong University of Science and Technology（华中科技大学）；Cardwell Investment Tech（卡德韦尔投资科技公司）；UC Berkeley（加州大学伯克利分校）
本文提出一种基于稀疏贝叶斯学习的方法，用于识别稀疏多变量ARX模型的布尔结构和节点间动态，无需先验知识，通过最大后验估计结合复杂性和组稀疏性惩罚。
2016-09-30 cs.LG cs.SY eess.SY
A Bayesian Framework for Assessing the Strength Distribution of Composite Structures with Random Defects
本文提出了一种新型随机框架，用于量化试样层面面外皱纹导致的强度下降。关键的创新是一个马尔可夫链蒙特卡罗算法，严格推导出随机分布的皱纹缺陷直接从图像数据的缺陷。该方法显着降低了随机数值研究的缺陷的影响的参数化的不确定性。为了证明我们的方法，我们提出了一个原始的随机研究，以确定随机面外褶皱缺陷的拐角弯曲样品的强度分布。缺陷参数化的随机随机场定义使用Karhunen-Loéve（KL）模式。KL系数的分布是从使用多场图像分析的修改版本从B扫描数据提取的未对准数据推断的。强度分布估计，通过嵌入皱纹高保真FE模拟使用高性能工具箱"沙丘复合材料"，我们观察到严重击倒的概率为$1/200$的$74\%$。在文献的支持下，我们的研究结果突出了最大错位和击倒在试样强度之间的强相关性。这种观察使我们能够定义一个代理模型，提供快速评估的预测强度通知随机模拟利用观察到的皱纹数据和高保真有限元模型。
2018-04-20 stat.AP
Stratified Gaussian Graphical Models
高斯图形模型代表了分析连续多变量系统的统计工具箱的支柱。然而，由于多元正态分布的内在属性，使用该模型族可能隐藏某些形式的上下文特定的独立性，这些独立性从应用的角度来看是自然考虑的。这种独立性在早期已经被引入，以将离散图形模型和贝叶斯网络推广到更灵活的模型族中。在这里，我们通过引入欧几里得空间的分层来适应高斯图形模型的上下文特定的独立性的想法，使得条件独立性可以在某些部分中保持，但在其他地方不存在。它表明，分层模型定义了一个弯曲的指数族，它保留了相当大的易处理的参数估计和模型选择。
2014-09-08 math.ST stat.TH
A Bayesian Framework for Multivariate Differential Analysis
Medical Research Council Biostatistics Unit, University of Cambridge（剑桥大学医学研究委员会生物统计单元）；Université Paris-Saclay, INRAE, AgroParisTech, GABI（巴黎萨克雷大学、法国国家农业食品环境研究院、巴黎综合理工学校GABI）；Université Paris-Saclay, AgroParisTech, INRAE, UMR MIA Paris-Saclay（巴黎萨克雷大学、巴黎综合理工学校、法国国家农业食品环境研究院UMR MIA巴黎萨克雷）
本文提出了一种贝叶斯框架用于多变量差异分析，通过共轭分层模型提高不确定性量化，并引入重叠系数作为直观的推断标准。
2026-09-24 stat.AP stat.ME
makemyprior: Intuitive Construction of Joint Priors for Variance Parameters in R
先验使我们能够鲁棒推理，并将专家知识的贝叶斯分层模型。当存在难以根据观测数据识别的随机效应时，这一点尤其重要。挑战在于理解和控制方差参数先验的联合影响，makemyprior是一个R包，用于指导方差参数的联合先验分布的制定。联合先验分布是基于模型中总方差沿树的层次分解构造的，并考虑了整个模型结构。用户在树的每个级别输入他们之前的信念或表达无知。先验信念可以是关于方差值的合理范围的一般想法，并且不需要是详细的专家知识。构造的先验导致鲁棒的推理，并保证适当的后验。一个图形用户界面，通过可视化的树和联合先验，促进建设和评估的先验的不同选择。该软件包旨在扩展应用研究人员的工具箱，并使先验知识成为贝叶斯工作流程中的一个活跃组件。
2022-03-18 stat.CO stat.ME
Locally adaptive smoothing with Markov random fields and shrinkage priors
我们提出了一个局部自适应非参数曲线拟合方法，在一个完全贝叶斯框架内操作。该方法使用收缩先验来诱导潜在趋势函数中k阶差异的稀疏性，从而提供局部自适应和全局控制的组合。使用收缩先验的法线表示的尺度混合，我们使我们的方法和k阶高斯马尔可夫随机场平滑之间的明确连接。我们称之为收缩先验马尔可夫随机场（SPMRF）的过程。我们使用哈密顿蒙特卡罗来近似模型参数的后验分布，因为这种方法在我们的模型所表现出的高维和强参数相关性的存在下提供了优越的性能。我们使用模拟数据比较了三种先验公式的性能，发现马蹄先验提供了偏差和精度之间的最佳折衷。我们将SPMRF模型应用于两个经常用于测试非参数方法的基准数据示例。我们发现，这种方法是足够灵活，以适应各种数据生成模型，并提供了自适应特性和计算的易处理性，使其成为一个有用的除了贝叶斯非参数工具箱。
2017-02-09 stat.ME
Global Optimization of Gaussian processes
RWTH Aachen University（亚琛工业大学）；JARA-CSD（于利希亚琛研究联盟-计算模拟科学中心）；Forschungszentrum Jülich GmbH（于利希研究中心）
本文提出一种降维空间确定性全局优化方法，通过仅在自由度上分支并利用协方差函数包络和采集函数紧松弛，显著降低嵌入高斯过程的优化问题计算成本，并成功应用于贝叶斯优化和机会约束规划。
2020-05-21 cs.LG math.OC stat.ML
Neural Bayes estimation and selection for complex bivariate extremal dependence models
University of Namur（那慕尔大学）；Lancaster University（兰卡斯特大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出利用神经网络近似贝叶斯估计器，用于快速拟合和比较复杂极值依赖模型，并通过神经贝叶斯分类器选择最佳模型。
2025-10-20 stat.ME stat.ML
Exploiting correlation and budget constraints in Bayesian multi-armed bandit optimization
Cambridge University（剑桥大学）；University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
我们解决的问题，找到一个非线性光滑函数的最大化，只能评估逐点，受限制的数量允许的功能评估。这个问题在多臂强盗文献中也被称为固定预算最佳臂识别。我们引入了贝叶斯方法，这个问题，并表明它的经验优于现有的频率论和其他贝叶斯优化方法。贝叶斯方法强调详细的建模，包括对武器之间的相互关系建模。因此，它可以很好地执行的情况下，手臂的数量远远大于允许的功能评估的数量，而频率论的对应物是不适用的。此功能使我们能够开发和部署实际应用程序，例如自动机器学习工具箱。本文提出了全面的比较所提出的方法，汤普森采样，经典的贝叶斯优化技术，最近的贝叶斯强盗的方法，和国家的最先进的最好的手臂识别方法。这是许多这些方法在文献中的第一次比较，使我们能够检查其不同功能的相对优点。
2013-11-11 cs.LG stat.ML
A Factor Graph Approach to Automated Design of Bayesian Signal Processing Algorithms
Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN听力公司）
机器学习社区越来越认识到自动化基于贝叶斯推理的算法的设计周期的好处。因此，在概率编程框架的兴趣在过去几年中大大增加。本文探讨了一个特定的概率编程范式，即Forney风格的因子图（FFG）的消息传递，在自动化设计的高效贝叶斯信号处理算法的背景下。为此，我们开发了"ForneyLab"（https：//github.com/biaslab/ForneyLab.jl）作为Julia工具箱，用于FFG中基于消息传递的推理。我们通过示例展示了ForneyLab如何实现贝叶斯信号处理算法的自动推导，包括参数估计和模型比较算法。最重要的是，由于FFG框架的模块化构成，模型规范和推理方法都可以在ForneyLab中轻松扩展。为了测试这个框架，我们比较了由ForneyLab实现的变分消息传递与由最先进的工具"Edward"和"Stan"实现的自动微分变分推理（ADVI）和蒙特卡罗方法。在性能、可扩展性和稳定性问题方面，ForneyLab似乎在状态空间模型的自动推理方面比竞争对手更有优势。
2018-11-08 cs.LG stat.ML
