Vector operations for accelerating expensive Bayesian computations -- a tutorial guide
贝叶斯统计中的许多应用都是计算密集型的。然而，它们通常本质上是并行的，这使得它们成为现代大规模并行处理器的主要目标。多核和分布式计算广泛应用于贝叶斯社区，然而，很少有人关注使用单指令多数据（SIMD）操作的细粒度并行化，这些操作在大多数现代商品CPU上可用，并且是GPGPU计算的基础。在这项工作中，我们实际上证明，使用标准的编程库，实用程序的SIMD方法的几个专题贝叶斯应用。我们表明，SIMD可以提高浮点运算的性能，导致串行算法的性能提高到$6\times$。重要的是，这些改进是通过多核处理实现的任何增益的倍增。我们说明了潜在的SIMD加速贝叶斯计算，并为读者提供利用现代大规模并行处理环境中使用标准工具的技术。
2020-12-14 cs.DC cs.MS cs.PF
An AI-powered Bayesian Generative Modeling Approach for Arbitrary Conditional Inference
Department of Biostatistics, Yale University（耶鲁大学生物统计学系）；Department of Statistics, Stanford University（斯坦福大学统计学系）
本文提出了一种基于人工智能的贝叶斯生成建模方法，用于解决任意条件推断问题，通过统一框架实现灵活的条件预测和不确定性量化。
2026-03-10 cs.AI cs.LG stat.CO
Bayesian model selection and misspecification testing in imaging inverse problems only from noisy and partial measurements
Heriot-Watt University, MACS \& Maxwell Institute for Mathematical Sciences, EH14 4AS, Edinburgh, United Kingdom
提出一种结合贝叶斯交叉验证与数据分裂的通用方法，用于在无真实数据情况下对成像逆模型进行选择与误设定检测，兼容扩散采样器等贝叶斯成像采样器，计算成本低且准确率高。
2026-05-28 cs.LG eess.IV stat.ME
A Bayesian Information-Theoretic Approach to Data Attribution
University of Amsterdam（阿姆斯特丹大学）；Spotify
本文提出基于贝叶斯信息论的训练数据归因方法，通过信息损失度量归因样本，结合高斯过程近似提升可扩展性，实验显示在反事实敏感性、真实检索和聚类选择中表现优异。
2026-04-08 cs.LG stat.ML
Scalable Bayesian Learning with posteriors
Normal Computing
针对现代机器学习模型贝叶斯学习的计算挑战，本文引入可扩展PyTorch库posteriors，提出回火随机梯度马尔可夫链蒙特卡罗框架并改进深度集成以实现渐近无偏，通过实验验证其在冷后验效应研究和大语言模型应用中的效用。
2025-04-14 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Efficient Bayesian Experimental Design for Implicit Models
University of Edinburgh（爱丁堡大学）
贝叶斯试验设计涉及在试验中资源的最优分配，目的是优化成本和性能。对于隐式模型，其中的可能性是棘手的，但从模型中采样是可能的，这项任务特别困难，因此在很大程度上未探索。这主要是由于与近似后验分布和效用函数相关的技术困难。我们设计了一个新的试验设计框架，隐式模型，提高了以前的工作在两个方面。首先，我们使用参数和数据之间的互信息作为效用函数，这在以前是不可行的。我们实现了这一点，利用似然自由推理比估计（LFIRE）近似后验分布，而不是传统的近似贝叶斯计算或合成似然方法。其次，我们使用贝叶斯优化来解决最优设计问题，而不是通常使用的网格搜索或基于采样的方法。我们发现，这提高了效率，并允许我们考虑更高的设计尺寸。
2019-02-23 cs.LG stat.CO stat.ME
Bayesian Experimental Design for Implicit Models by Mutual Information Neural Estimation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
隐式随机模型，其中的数据生成分布是棘手的，但采样是可能的，是无处不在的自然科学。这些模型通常具有自由参数，需要从科学实验中收集的数据中推断出来。一个基本问题是如何设计实验，使收集的数据最有用。贝叶斯试验设计领域主张，理想情况下，我们应该选择最大化数据和参数之间的互信息（MI）的设计。然而，对于隐式模型，这种方法受到计算后验和最大化MI的高计算成本的严重阻碍，特别是当我们有超过少数的设计变量进行优化时。在本文中，我们提出了一种新的方法，贝叶斯试验设计的隐式模型，利用神经MI估计来处理这些问题的最新进展。我们表明，训练一个神经网络，以最大限度地提高MI的下限，使我们能够共同确定最佳设计和后验。模拟研究表明，这优雅地扩展贝叶斯试验设计隐式模型更高的设计维度。
2020-08-14 cs.LG stat.CO stat.ME
Entropy-regularized Gradient Estimators for Approximate Bayesian Inference
Department of Computer Science University of Texas, Austin（计算机科学系德克萨斯大学奥斯汀分校）
本文提出一种基于 Stein 算子度量近似 KL 散度与交叉熵梯度流的熵正则化估计器，用于高效生成贝叶斯后验多样本，并在分类任务和 Model-Based Reinforcement Learning 中验证了其有效性。
2025-05-28 cs.LG stat.ML
Identifying Informative Environments for Cognition Parameter Inference via Bayesian Experimental Design
该研究针对认知参数推断的环境选择问题，将认知规划实验建模为贝叶斯实验设计问题，提出摊销贝叶斯实验设计框架，经Mouselab-MDP实验验证其高效性，揭示了环境选择的权衡关系。
2026-08-04 cs.AI stat.ML
Patterns of Scalable Bayesian Inference
数据集不仅在规模上而且在复杂性上都在增长，这就产生了对丰富模型和量化不确定性的需求。贝叶斯方法非常适合这种需求，但扩展贝叶斯推断是一个挑战。为了应对这一挑战，最近有相当多的工作基于对模型结构、底层计算资源和渐近正确性的重要性的不同假设。因此，有一个动物园的想法，几乎没有明确的总体原则。在本文中，我们试图确定统一的原则，模式和直觉的缩放贝叶斯推断。我们回顾现有的工作，利用现代计算资源与MCMC和变分逼近技术。从这个分类的想法，我们的特点，已被证明是成功的设计可扩展的推理程序和评论的前进道路上的一般原则。
2016-03-22 stat.ML
Bayesian Modeling via Goodness-of-fit
现代贝叶斯统计的两个关键问题是：（i）建立从初始可信的科学先验中提取与给定数据一致的统计先验的原则性方法;（ii）开发比两者中的任何一个都更有效的贝叶斯-频率主义统一数据分析工作流程。在本文中，我们提出了“贝叶斯通过拟合优度”的想法作为探索这些基本问题的框架，在某种程度上，是一般足以涵盖几乎所有的熟悉的概率模型。几个说明性的例子显示了这种新的观点作为一种实用的数据分析工具的好处。与其他贝叶斯文化的关系也进行了讨论。
2018-04-16 math.ST stat.ME stat.ML
Bayesian optimization for materials design
我们介绍了贝叶斯优化，这是一种用于优化耗时的工程模拟和在大型数据集上拟合机器学习模型的技术。贝叶斯优化指导材料设计和发现过程中的实验选择，以尽可能少的实验找到好的材料设计。我们专注于材料设计的情况下，参数化的低维向量。贝叶斯优化建立在一种称为高斯过程回归的统计技术上，该技术允许基于先前测试的设计来预测新设计的性能。在提供了一个详细的介绍高斯过程回归，我们介绍了两个贝叶斯优化方法：预期的改进，无噪声评估的设计问题;和知识梯度方法，它概括了预期的改进，可用于噪声评估的设计问题。这两种方法都是使用信息价值分析得出的，并且具有一步贝叶斯最优性。
2015-06-03 math.OC stat.ML
Hierarchical Bayesian Personalized Recommendation: A Case Study and Beyond
Facebook Inc（脸书公司）
现代推荐系统中的项目通常以层次结构组织。这些层次结构和其中的数据为构建个性化推荐系统提供了有价值的信息。在本文中，我们提出了一个通用的分层贝叶斯学习框架，即，\emph{HBayes}，学习结构和相关的潜在因素。此外，我们开发了一个变分推理算法，能够学习模型参数，经验收敛速度快。建议HBayes评估两个现实世界的数据集，从不同的领域。结果表明，我们的方法的项目推荐任务的好处，并表明，它可以优于国家的最先进的模型在精度，召回率和归一化的折扣累积增益。为了鼓励可重复的结果，我们在git repo上公开了我们的代码：\url{https://tinyurl.com/ycruhk4t}。
2019-08-20 cs.IR cs.LG stat.ML
Transfer Learning in Bayesian Optimization for Aircraft Design
McGill University（麦吉尔大学）；Bombardier（庞巴迪）；Polytechnique Montréal（蒙特利尔综合理工学院）；GERAD；Clemson University（克莱姆森大学）
本文提出利用迁移学习的贝叶斯优化方法，通过源数据辅助目标问题优化，解决冷启动问题。采用集成代理模型和约束框架，针对飞机设计中的异质变量和约束提出降维和代理选择方法，提升收敛速度和预测精度。
2026-03-30 cs.LG math.OC stat.ML
BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization
Facebook（脸书）；New York University（纽约大学）
贝叶斯优化为广泛的应用提供了样本高效的全局优化，包括自动机器学习、工程、物理和实验设计。我们介绍BoTorch，贝叶斯优化的现代编程框架，结合蒙特卡罗（MC）采集功能，一种新的样本平均近似优化方法，自动微分和方差减少技术。BoTorch的模块化设计有助于灵活规范和优化PyTorch编写的概率模型，简化新采集功能的实现。我们的方法得到了新颖的理论收敛结果的支持，并通过利用快速预测分布，硬件加速和确定性优化的独特算法基础实现了实用。我们还提出了一种新的“一次性”制定的知识梯度，使我们的理论和软件的贡献相结合。在实验中，我们证明了提高样本效率的BoTorch相对于其他流行的库。
2020-12-08 cs.DC cs.LG math.OC
Constrained Bayesian Optimization for Automatic Chemical Design
自动化学设计是一个框架，用于生成具有优化特性的新型分子。原来的计划，具有贝叶斯优化的潜在空间的变分自动编码器，遭受的病理，它往往会产生无效的分子结构。首先，我们证明经验，这种病理学时出现的贝叶斯优化方案查询潜在点远离数据的变分自动编码器已被训练。其次，通过重新制定的搜索过程作为一个约束贝叶斯优化问题，我们表明，这种病理的影响可以减轻，产生显着改善所产生的分子的有效性。我们认为，约束贝叶斯优化是解决这类训练集不匹配的一个很好的方法，在许多生成任务涉及贝叶斯优化的潜在空间的变分自动编码器。
2019-08-12 stat.ML
Bayesian Models of Graphs, Arrays and Other Exchangeable Random Structures
大多数贝叶斯方法的自然栖息地是由可交换的观测序列表示的数据，其中de Finetti定理提供了理论基础。狄利克雷过程聚类、高斯过程回归和许多其他参数和非参数贝叶斯模型都属于这个框架的范围;现代数据分析中出现的许多问题都不属于这个框架。本文介绍了可以通过随机结构建模的图、矩阵和其他数据的贝叶斯模型。我们描述的结果在概率论，推广de Finetti的定理，这样的数据，并讨论其相关性的非参数贝叶斯建模。基本思想到位，我们调查的例子模型在文献中，这些模型的应用包括协同过滤，链接预测，图形和网络分析。我们还强调了图论和概率的最新发展的连接，并勾勒出更一般的贝叶斯方法的其他类型的数据序列和数组以外的数学基础。
2015-02-13 math.ST stat.ML stat.TH
Bayesian optimization with improved scalability and derivative information for efficient design of nanophotonic structures
我们提出了组合的前向形状导数和使用贝叶斯优化的迭代反演方案，以找到最佳设计的纳米光子器件。这种方法扩大了贝叶斯优化的适用范围，需要大量的迭代和衍生信息的情况下。这在以前是不切实际的，因为识别参数空间中的下一个评估点所需的计算工作量变得比目标函数的实际评估大得多。我们展示了一个实现的方法，通过优化波导边缘耦合器。
2021-01-08 physics.comp-ph physics.optics stat.ML
