Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Attentive Neural Processes and Batch Bayesian Optimization for Scalable Calibration of Physics-Informed Digital Twins
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
基于物理信息的动态系统模型是构建环境的数字孪生的关键组成部分。这些数字孪生可用于设计节能基础设施，但必须进行适当校准，以准确反映系统行为，用于下游预测和分析。现代建筑物的动力系统模型通常由大量参数描述，并且在仿真期间产生显著的计算开销。为了在不进行过度模拟的情况下处理数字孪生的大规模校准，我们提出了ANP-BBO：一种利用注意神经过程（ANP）的可扩展和可并行的批量贝叶斯优化（BBO）方法。
2021-06-29 cs.AI cs.LG math.OC
Scalable Constrained Bayesian Optimization
Facebook（脸书）；Amazon（亚马逊）；Uber AI（优步人工智能）
在黑盒约束下的高维黑盒函数的全局优化是机器学习、控制和工程中的一个普遍任务。这些问题是具有挑战性的，因为可行集通常是非凸的，很难找到，除了维数和底层函数的异质性的诅咒。特别是，这些特征显着影响贝叶斯优化方法的性能，否则已经成为无约束设置中的样本有效优化的事实标准，留给从业者进化策略或进化论。我们提出了可扩展的约束贝叶斯优化（SCBO）算法，克服了上述挑战，并推动贝叶斯优化的适用性远远超出了国家的最先进的。一个全面的实验评估表明，SCBO在各种基准取得了优异的成绩。为此，我们提出了两个新的控制问题，我们希望科学界的独立价值。
2021-02-28 cs.AI cs.LG stat.ML
Efficient and Scalable Batch Bayesian Optimization Using K-Means
IBM Research UK（IBM英国研究院）
本文提出了一种新的贝叶斯优化批量抽样算法--K-Means批量贝叶斯优化（KMBBO）。KMBBO使用无监督学习来有效地估计模型采集函数的峰值。我们在实证实验中表明，我们的方法优于目前最先进的批分配算法的各种测试问题，包括调整算法超参数和一个具有挑战性的药物发现问题。为了适应现实世界中的高维数据的问题，我们提出了一个修改KMBBO结合压缩感知投影到一个较低的维度子空间的优化。我们的经验表明，这两步方法优于没有降维发生的算法。
2018-09-19 cs.AI cs.LG stat.ML
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们介绍了隐式贝叶斯神经网络，这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反，我们建议通过用潜变量增加每层的输入来诱导一个分布，该分布捕获神经网络上的不确定性。我们提出了适当的输入分布，并展示了最先进的性能，在大规模，数百万参数的图像分类任务的校准，鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
Robust and Scalable Bayesian Online Changepoint Detection
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
提出一种在线、可证明鲁棒且可扩展的贝叶斯变点检测算法，利用广义贝叶斯和扩散分数匹配实现闭式共轭后验，速度比最接近方法快10倍以上。
2023-05-12 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Reactive Message Passing for Scalable Bayesian Inference
Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN Hearing 公司）
我们引入反应式消息传递（RMP）作为一个框架，用于在概率模型的因子图表示中执行无调度、鲁棒和可扩展的基于消息传递的推理。RMP基于反应式编程风格，仅描述因子图中的节点如何对连接节点中的变化做出反应。没有固定的消息传递时间表提高了推理过程的鲁棒性、可扩展性和执行时间。我们还提出了ReactiveMP.jl，这是一个Julia软件包，用于通过最小化约束Bethe自由能来实现RMP。通过用户定义的局部形式规范和对变分后验分布的因式分解约束，ReactiveMP.jl执行混合消息传递算法，包括信念传播，变分消息传递，期望传播和期望最大化更新规则。实验结果表明，与其他Julia包相比，基于ReactiveMP的RMP在一系列概率模型中进行贝叶斯推理的性能有所提高。特别是，我们表明RMP框架能够在标准膝上计算机上运行具有数十万个随机变量的大规模概率状态空间模型的贝叶斯推理。
2021-12-25 cs.AI cs.LG
Simple and Scalable Parallelized Bayesian Optimization
CyberAgent, Inc.（赛博艾坚特公司）
近年来，利用并行和分布式计算资源已经成为解决高计算成本问题的关键。贝叶斯优化（BO）在诸如机器学习算法的超参数优化等评估成本高的问题中表现出了令人瞩目的结果。虽然已经开发了许多并行BO方法来有效地利用这些计算资源进行搜索，但这些方法假设同步设置或不可扩展。在本文中，我们提出了一个简单的和可扩展的异步并行设置BO方法。实验结果表明，该方法具有良好的性能。
2020-06-24 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University（德州农工大学）
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型，它预测目标函数在以前看不见的输入下的输出，以便于选择有希望的输入值。高斯过程（GP）通常用作代理模型，但已知其与观测数量的比例关系很差。我们适应Vecchia近似，一个流行的GP近似空间统计，使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展，包括训练翘曲的GP使用小批量梯度下降，近似邻居搜索，并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上，我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
Scalable Bayesian Transformed Gaussian Processes
Cornell University（康奈尔大学）；University of Delaware（特拉华大学）；SigOpt
Kedem和Oliviera提出的贝叶斯变换高斯过程（BTG）模型是扭曲高斯过程（WGP）的完全贝叶斯对应物，并将输入扭曲和核超参数的联合先验边缘化。超参数的这种完全贝叶斯处理通常提供更准确的回归估计和更好的不确定性传播，但价格昂贵。BTG后验预测分布本身是通过高维积分估计的，必须反转才能进行模型预测。为了使贝叶斯方法的实用性和可比的速度最大似然估计（MLE），我们提出了原则和快速的技术计算与BTG。我们的框架使用双重稀疏求积规则、紧分位数界限和一阶矩阵代数来实现快速模型预测和模型选择。这些可扩展的方法使我们能够在更高维的数据集上回归，并将BTG应用于分层转换，从而大大提高了其可表达性。我们证明，BTG实现卓越的经验性能MLE为基础的模型。
2022-10-20 cs.LG
Scalable Bayesian Learning with posteriors
Normal Computing
针对现代机器学习模型贝叶斯学习的计算挑战，本文引入可扩展PyTorch库posteriors，提出回火随机梯度马尔可夫链蒙特卡罗框架并改进深度集成以实现渐近无偏，通过实验验证其在冷后验效应研究和大语言模型应用中的效用。
2025-04-14 cs.LG stat.ML
B3O: Scalable Boltzmann Batch Bayesian Optimization
Imperial College London（帝国理工学院伦敦分校）；Secondmind
提出B3O框架，将批量生成重构为从采集函数定义的玻尔兹曼分布中直接采样，理论证明其额外遗憾可忽略，实验表明在合成基准和复杂应用任务中优于现有方法。
2026-06-29 cs.LG
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington（华盛顿大学）
面对不确定性，明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程（MDP）上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准，但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解：在没有不确定性的情况下，每个潜在的MDP更容易解决。我们首先获得一组专家，每个潜在的MDP一个，并融合他们的建议来计算基线策略。接下来，我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法，贝叶斯残差策略优化（BRPO），进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合，并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
Scalable Batch Bayesian Optimization Via Subspace Acquisition Functions
School of Computing and Artificial Intelligence（计算与人工智能学院）
提出通过从原始问题的轴对齐子空间中各选一点来扩展贝叶斯优化至大规模批量评估，显著加速收敛，与十种批量算法相比极具竞争力。
2026-06-18 cs.AI cs.LG cs.NE
Scalable Batch-Mode Deep Bayesian Active Learning via Equivalence Class Annealing
University of Chicago（芝加哥大学）
主动学习已经在许多领域证明了数据效率。现有的主动学习算法，特别是在批量模式深度贝叶斯主动模型的背景下，严重依赖于模型的不确定性估计的质量，并且通常难以扩展到大批量。在本文中，我们提出了批平衡，一个可扩展的批处理模式的主动学习算法，它结合了决策理论的见解主动学习，组合信息测量，多样性采样。在其核心，批量平衡依赖于一个新的决策理论采集功能，促进不同的等价类之间的差异。直觉上，每个等价类都由假设组成（例如，深度神经网络的后验样本）具有相似的预测，并且Batch-BALanCe随着学习的进行自适应地调整等价类的大小。为了将查询的计算扩展到大批量，我们进一步提出了一个高效的批处理模式采集过程，其目的是最大限度地提高通过采集函数定义的新信息度量。我们表明，我们的算法可以有效地处理现实的多类分类任务，并在几个基准数据集上取得令人信服的性能低批量和大批量制度下的主动学习。参考代码发布于https://github.com/zhangrenyuuchicago/BALanCe。
2023-02-20 cs.AI cs.LG
BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
结构方程模型（SEM）是一个有效的框架，通过一个有向无环图（DAG）表示的因果关系的原因。最近的进展使有效的最大似然点估计的DAG从观测数据。然而，在实际场景中，点估计可能无法准确地捕获推断基础图时的不确定性，其中真实DAG是不可识别的和/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估计分布在DAG特征的线性高斯SEM。由于图的离散性和组合性，在DAG上开发完整的贝叶斯后验是具有挑战性的。我们分析了DAG上可扩展VI的关键设计选择，例如1）通过表达变分族对DAG进行参数化，2）实现低方差随机优化的连续松弛，以及3）潜在变量的合适先验。我们提供了一系列的真实和合成数据的实验表明，BCD网优于最大似然方法的标准因果发现指标，如结构汉明距离在低数据制度。
2021-12-06 cs.AI cs.LG stat.ML
Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720, USA（化学与生物分子工程系，加州大学伯克利分校）
本文提出一种梯度信息损失函数用于贝叶斯神经网络训练，以在贝叶斯优化中利用梯度信息增强代理模型，提升预测精度并加快高维问题收敛。
2025-08-06 cs.LG stat.ML
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
From Sorting Algorithms to Scalable Kernels: Bayesian Optimization in High-Dimensional Permutation Spaces
State Key Laboratory of Precision and Intelligent Chemistry（精准与智能化学国家重点实验室）
针对高维排列空间贝叶斯优化中表示可扩展性差的问题，提出基于排序算法的核函数框架，其中Mallows核是枚举排序的特例，而新提出的Merge核通过归并排序的分解结构实现Θ(n log n)复杂度且无信息损失，在低维性能相当，高维显著提升优化效果与计算效率。
2026-06-15 cs.AI cs.LG
JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data
UC Berkeley（加州大学伯克利分校）；FAIR（FAIR（Meta AI 研究院））
多任务贝叶斯优化（MBO）的目标是最大限度地减少准确优化目标黑盒函数所需的查询数量，并允许访问其他辅助函数的离线评估。当离线数据集很大时，现有方法的可扩展性是以牺牲表达性和推理质量为代价的。我们提出了JUMBO，MBO算法，通过基于来自训练两个高斯过程（GP）的采集信号的组合来查询额外的数据来避开这些限制：直接在输入域中操作的冷GP和在使用离线数据预训练的深度神经网络的特征空间中操作的暖GP。这样的分解可以动态地控制从在线和离线数据导出的信息的可靠性，并且预训练的神经网络的使用允许大的离线数据集的可扩展性。从理论上讲，我们推导出的遗憾界的JUMBO，并表明，它实现了无遗憾的条件下，类似于GP-UCB（Srinivas等。2010）。从经验上讲，我们证明了显着的性能改善现有的方法在两个现实世界的优化问题：超参数优化和自动化电路设计。
2022-03-10 cs.AI cs.LG
Scalable Bayesian Inverse Reinforcement Learning
University of Cambridge（剑桥大学）
贝叶斯推理的奖励提出了一个理想的解决方案，不适定的性质逆强化学习问题。不幸的是，由于需要内环MDP求解器，当前方法通常不能扩展到小表格设置之外，即使是本身扩展的非贝叶斯方法也通常需要与环境进行广泛的交互才能良好地执行，不适合高风险或昂贵的应用，例如医疗保健。在本文中，我们介绍了我们的方法，近似变分奖励模仿学习（AVRIL），它解决了这两个问题，通过共同学习一个近似后验分布的奖励，规模任意复杂的状态空间旁边的一个适当的政策，在一个完全离线的方式，通过变分的方法说，潜在的奖励。将我们的方法应用于真实的医疗数据以及经典的控制模拟，我们证明了贝叶斯奖励推理在超出当前方法范围的环境中，以及与离线模仿学习算法竞争的任务性能。
2021-03-11 cs.LG
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
Big Learning with Bayesian Methods
Tsinghua University（清华大学）
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣，大学习是一个新兴的子领域，研究可扩展的机器学习算法，系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法，在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展，包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理，以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
Scalable bayesian shadow tomography for quantum property estimation with set transformers
Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学）
本文提出了一种结合经典阴影协议和集合变换器的贝叶斯方法，用于高效估计量子态属性，显著降低均方误差。
2025-12-04 cs.LG quant-ph
Learning an Astronomical Catalog of the Visible Universe through Scalable Bayesian Inference
University of California, Berkeley（加州大学伯克利分校）；Intel Corporation（英特尔公司）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
Celeste是一个用于推断天文目录的程序，可获得最先进的科学结果。到目前为止，Celeste已经被扩展到最多数百兆字节的天文图像：贝叶斯后验推理在计算上是出了名的苛刻。在本文中，我们报告了一个可扩展的，并行版本的Celeste，适合从现代大规模天文数据集的学习目录。我们的算法创新包括贝叶斯后验推理的快速数值优化例程和将天文优化问题分解为子问题的统计有效方案。我们的可扩展实现完全是用Julia编写的，Julia是一种新的高级动态规划语言，专为科学和数值计算而设计。我们使用朱莉娅的高层次结构的共享和分布式内存并行，并证明有效的负载均衡和高效的扩展高达8192至强核心的NERSC科里超级计算机。
2016-11-10 astro-ph.IM cs.DC cs.LG
A Unified Particle-Optimization Framework for Scalable Bayesian Sampling
University at Buffalo（布法罗大学）；Duke University（杜克大学）
最近人们对开发可扩展的贝叶斯采样方法感兴趣，例如用于大数据分析的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）。标准SG-MCMC算法模拟来自离散时间马尔可夫链的样本以近似目标分布，因此样本可能是高度相关的，这是SG-MCMC的不期望的属性。相反，SVGD直接优化一组粒子来近似目标分布，因此能够用相对少得多的样本获得良好的近似。在本文中，我们提出了一个原则粒子优化框架的基础上Wasserstein梯度流统一SG-MCMC和SVGD，并允许开发新的算法。我们的框架将SG-MCMC解释为概率测度空间上的粒子优化，揭示了SG-MCMC和SVGD之间的紧密联系。我们的框架的关键组成部分是几个粒子近似技术，有效地解决了原来的偏微分方程的空间上的概率测度。在合成数据和深度神经网络上的大量实验证明了我们的可扩展贝叶斯采样框架的有效性和效率。
2018-07-10 cs.LG stat.ML
Cell-Free Data Power Control Via Scalable Multi-Objective Bayesian Optimisation
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
无小区多用户多输入多输出网络是传统蜂窝结构的有希望的替代方案，因为它们具有在网络的整个覆盖区域上提供统一服务质量和高资源利用率的潜力。为了实现这一潜力，以前的工作已经开发了无线电资源管理机制，使用各种优化引擎。在这项工作中，我们考虑的问题，整体遍历频谱效率最大化的上下行数据功率控制在无小区网络的背景下。为了在大型网络中解决这个问题，并解决收敛时间的限制，我们应用可扩展的多目标贝叶斯优化。此外，我们讨论了如何交叉的多保真度仿真和贝叶斯优化可以提高无线电资源管理在无细胞网络。
2022-12-20 cs.LG cs.SY eess.SY
Scalable Monte Carlo for Bayesian Learning
本书面向研究生介绍MCMC高级主题，涵盖随机梯度、不可逆及连续时间MCMC等近十年新方法，聚焦数据量与维度可扩展性，推动贝叶斯计算在机器学习与AI中的应用。
2024-07-17 cs.LG stat.CO stat.ME
Scalable Spatiotemporal Prediction with Bayesian Neural Fields
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对时空数据集规模扩大对灵活且可扩展统计方法的需求，本文提出贝叶斯神经场（BayesNF）模型，整合深度神经网络与分层贝叶斯推理，在气候、公共卫生数据预测等任务中提升性能并提供开源工具。
2024-11-26 cs.AI cs.LG stat.AP
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University（杜克大学）
循环神经网络（RNN）在语言建模方面表现出了良好的性能。然而，使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化（用于大型训练集）不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗（也适用于大型训练集）的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法，在训练过程中添加梯度噪声（增强对模型参数空间的探索），并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明，所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
Scalable Bayesian Deep Learning with Kernel Seed Networks
The University of Queensland（昆士兰大学）
本文讨论了贝叶斯深度神经网络的可扩展性问题。深度神经网络的性能受到了这些算法不确定性校准措施的影响。这限制了它们在计算机辅助诊断和自主车辆导航等高风险领域的应用。贝叶斯深度学习（BDL）为在神经网络中表示不确定性提供了一种很有前途的方法。然而，BDL需要一组单独的参数来存储模型权重的均值和标准差，以学习分布。这导致模型参数的数量增加了2倍。为了解决这个问题，我们提出了一种执行BDL的方法，即内核种子网络（KSN），它不需要增加2倍的参数数量。KSN使用1x1卷积运算来学习参数分布的压缩潜在空间表示。在本文中，我们将展示如何使KSN优于传统的BDL方法，同时减少所需参数的数量高达6.6倍。
2021-04-19 cs.LG
Scalable nonparametric Bayesian learning for heterogeneous and dynamic velocity fields
University of Michigan（密歇根大学）；Duke University（杜克大学）
对复杂时空数据中的异构模式的分析在应用科学和工程的各个领域都有应用，包括训练自动驾驶汽车在复杂的交通场景中导航。在交通领域中出现的应用程序的动机，在本文中，我们开发了一个模型，用于学习异构和动态模式的速度场数据。我们从基本的非参数贝叶斯建模元素，如分层Dirichlet过程和无限隐马尔可夫模型，而每个均匀的速度场元素的光滑度是捕获的高斯过程前。特别关注的是所提出的模型的可扩展的近似推理方法，这是通过采用顺序MAP估计从无限HMM模型和一个有效的顺序GP后验计算技术，这是有效地工作在模拟数据集。最后，我们证明了我们的技术的NGSIM数据集的复杂的多车辆交互的有效性。
2021-02-15 cs.LG stat.ME stat.ML
Scalable Bayesian Preference Learning for Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种可扩展的贝叶斯偏好学习方法，用于联合预测个人的偏好以及群体的共识。人们的意见往往差异很大，因此很难从少量的个人数据中预测他们的偏好。当每个项目的标签很少时，个体偏见也使得推断群体的共识变得更加困难。我们通过将矩阵分解与高斯过程相结合来解决这些挑战，使用贝叶斯方法来考虑噪声和稀疏数据所产生的不确定性。我们的方法利用输入特征，如文本嵌入和用户元数据，来预测不在训练集中的新项目和用户的偏好。由于以前基于高斯过程的解决方案不能扩展到大量的用户，项目或成对标签，我们提出了一种随机变分推理方法，限制计算和内存成本。我们的推荐任务的实验表明，我们的方法是有竞争力的，尽管我们的可扩展的推理近似与以前的方法。我们展示了该方法的可扩展性上的自然语言处理任务与成千上万的用户和项目，并显示在这个任务的最先进的改进。我们将我们的软件公开用于未来的工作。
2019-12-11 cs.CL cs.HC cs.LG
Pretrained Joint Predictions for Scalable Batch Bayesian Optimization of Molecular Designs
针对药物开发中分子设计批量合成测试的瓶颈，本研究基于认知神经网络框架构建预训练的可扩展结合亲和力联合预测代理模型，用于批量贝叶斯优化，大幅提升了抑制剂筛选效率。
2025-11-14 cs.LG
SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization
Department of Information Systems University of Münster（信息系统系穆斯特大学）；Robert Bosch GmbH（博世集团）
SMOG通过多输出高斯过程学习目标间相关性，构建联合先验以提升多目标贝叶斯优化效率，实现线性扩展元任务数量的并行训练。
2026-05-11 cs.LG
MF-SCBO : Multi-fidelity Scalable Constrained Bayesian Optimization
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
针对高维黑箱约束优化中多保真度与高维性、约束及非嵌套采样难以兼顾的问题，提出MF-SCBO方法，实验表明其收敛性优于单保真度SCBO及其他多保真度方法。
2026-09-25 cs.LG math.OC
Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data
Duke University（杜克大学）
我们提出了一个贝叶斯非负张量因式分解模型的计数值张量数据，并开发可扩展的推理算法（批量和在线）处理大量的张量。我们的生成模型可以处理过度分散的计数以及推断分解的秩。此外，利用将泊松分布重新参数化为多项式有助于模型中的共轭性，并实现简单有效的吉布斯抽样和变分贝叶斯（VB）推断更新，其计算成本仅取决于张量中非零的数量。该模型还提供了一个很好的解释的因素，在我们的模型中，每个因素对应于一个“主题”。我们开发了一套在线推理算法，允许进一步扩展到大规模的张量模型，批量推理方法可能是不可行的。我们将我们的框架应用于不同的现实世界的应用程序，如科学出版物数据库上的\emph{multiway}主题建模，分析政治学数据集，并分析大量的家庭交易数据集。
2015-08-18 cs.LG stat.ML
Scalable Batch Acquisition for Deep Bayesian Active Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Technology Innovation Institute（技术创新研究院）
在深度主动学习中，在每一步选择多个示例进行标记以高效工作尤其重要，尤其是在大型数据集上。与此同时，在贝叶斯设置，如BatchBALD，这个问题的现有解决方案，在选择大量的例子，与计算联合随机变量的互信息的指数复杂性有很大的局限性。因此，我们提出了大型BatchBALD算法，它提供了一个良好的基础近似的BatchBALD方法，旨在实现可比的质量，同时更计算效率。我们提供了该算法的复杂性分析，显示计算时间的减少，特别是对于大批量。此外，我们提出了一套广泛的实验结果的图像和文本数据，无论是玩具数据集和较大的，如CIFAR-100。
2023-02-16 cs.LG stat.ML
Evaluating Scalable Bayesian Deep Learning Methods for Robust Computer Vision
Uppsala University（乌普萨拉大学）；ETH Zurich（苏黎世联邦理工学院）
虽然深度神经网络已经成为计算机视觉的首选方法，但绝大多数这些模型都无法正确捕捉其预测中固有的不确定性。估计这种预测不确定性可能至关重要，例如在汽车应用中。在贝叶斯深度学习中，预测不确定性通常被分解为不同类型的任意不确定性和认知不确定性。前者可以通过让神经网络输出某一概率分布的参数来估计。认知不确定性估计是一个更具挑战性的问题，虽然最近出现了不同的可扩展的方法，没有广泛的比较已经在现实世界的设置。因此，我们接受这一任务，并提出了一个全面的评估框架，可扩展的认知不确定性估计方法在深度学习。我们提出的框架是专门设计来测试在现实世界中的计算机视觉应用所需的鲁棒性。我们还应用这个框架提供了第一个适当的广泛和结论性的比较，目前两个国家的最先进的可扩展的方法：集成和MC辍学。我们的比较表明，集成始终提供更可靠和实用的不确定性估计。代码可在https://github.com/fregu856/evaluating_bdl上获得。
2020-04-07 cs.CV cs.LG stat.ML
Scalable Multi-Class Bayesian Support Vector Machines for Structured and Unstructured Data
IBM Research（IBM研究（中心））；Dublin, Ireland（爱尔兰都柏林（注意：Dublin, Ireland是地址，非机构，按要求不应提取，此处原数据中可能存在格式错误，正确机构应为IBM Research，而Dublin, Ireland是地点信息，根据提取规则，不应提取地址，因此仅保留IBM Research））
我们引入了一个新的贝叶斯多类支持向量机，制定了一个伪似然多类铰链损失的形式的位置-规模混合高斯。我们推导出一个基于变分推理的训练目标，基于梯度的学习。此外，我们采用了一个诱导点近似的规模推断大数据集。此外，我们开发了混合贝叶斯神经网络，将标准深度学习组件与所提出的模型相结合，以实现对非结构化数据的学习。我们提供的经验证据表明，我们的模型优于竞争对手的方法在68个结构化和两个非结构化数据集的分类实验的训练时间和准确性。最后，我们强调了我们的模型在产生分类预测不确定性方面的关键能力，并通过展示其在大规模主动学习和对抗图像检测任务中的有效性。
2018-06-07 cs.CR cs.LG stat.ML
Scalable Metropolis-Hastings for Exact Bayesian Inference with Large Datasets
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；The Alan Turing Institute（艾伦·图灵研究所）
通过标准马尔可夫链蒙特卡罗（MCMC）方法进行贝叶斯推断的计算量太大，无法处理大型数据集，因为每步的成本通常与数据点$n$的数量类似$Θ(n)$。我们提出了可扩展的大都会黑斯廷斯（SMH）内核，利用高斯浓度的后验需要处理平均只有$O(1)$甚至$O(1/\sqrt{n})$数据点每一步。该方案基于因子化接受概率、伯努利过程快速模拟程序和控制变量思想的组合。相反，许多MCMC子采样方案，如固定步长的随机梯度Langevin动力学，我们的方法是准确的，只要不变分布是真正的后验，而不是一个approximatesit. We的性能，我们的算法理论上，并给出现实和可验证的条件下，它是几何遍历。这一理论证明了实证结果表明，整体性能优于标准的大都会黑斯廷斯和各种子采样算法。
2019-06-10 cs.LG stat.ML
LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit Synthesis via One-Dimensional Subspaces
Fudan University（复旦大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
大量的文献已经证明贝叶斯优化框架在模拟电路综合中特别有效。然而，以往的研究工作大多集中在设计信息代理模型或有效的获取功能。即使在采集函数表面上搜索全局最优值本身是一项困难的任务，但它在很大程度上被忽略了。在本文中，我们提出了一个快速和强大的贝叶斯优化方法，通过一维子空间的模拟电路综合。通过在每次迭代中只关注优化一维子空间，我们大大降低了贝叶斯优化框架的计算开销，同时安全地最大化了获取函数。通过结合不同维度选择策略的优点，我们自适应地在全局搜索和局部搜索之间取得平衡。通过利用批贝叶斯优化框架，我们进一步加快优化过程，充分利用硬件资源。实验结果定量地表明，我们提出的算法可以加速优化过程高达9倍和38倍相比，LP-EI和REMBOpBO分别当批量大小为15。
2021-09-01 cs.LG cs.SY eess.SY
Scalable Global Optimization via Local Bayesian Optimization
Uber AI（优步人工智能实验室）；University of Warwick（华威大学）
贝叶斯优化最近成为一种流行的方法，用于昂贵的黑盒函数的样本有效优化。然而，应用到高维问题与几千个观察仍然具有挑战性，和困难的问题贝叶斯优化往往是没有竞争力的其他范例。在本文中，我们认为，这是由于隐含的同质性的全球概率模型和过分强调的探索，从全球收购的结果。这促使设计一个局部概率的方法，大规模的高维问题的全局优化。我们提出的$\texttt{TuRBO}$算法，适合本地模型的集合，并通过一个隐式的强盗的方法在这些模型之间执行一个原则性的全局分配的样本。全面的评估表明，$\texttt{TuRBO}$在跨越强化学习、机器人和自然科学的问题上优于机器学习和运筹学的最先进方法。
2020-02-24 cs.LG stat.ML
Scalable Bayesian Optimization via Focalized Sparse Gaussian Processes
Tsinghua University（清华大学）；Google DeepMind（谷歌DeepMind）
本文提出聚焦GP和FocalBO方法，通过稀疏高斯过程提升贝叶斯优化效率，实现对高维问题的高效优化。
2025-12-17 cs.LG stat.ML
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
由于可扩展的近似贝叶斯推断技术的发展，贝叶斯神经网络（BNN）最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点：参数和预测的不确定性变得容易获得，便于严格的统计分析。此外，还可以纳入先前的知识。然而，到目前为止，还没有可扩展的技术能够结合模型（结构）和参数的不确定性。本文在BNN中引入模型不确定性的概念，从而在模型和参数的联合空间中进行推理。此外，我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率，将模型空间的约束。最后，我们表明，通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性，允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Adaptive, Robust and Scalable Bayesian Filtering for Online Learning
School of Mathematical Sciences（数学科学学院）
该论文以贝叶斯滤波统一在线学习、序贯预测和上下文老虎机问题，提出自适应框架、鲁棒广义贝叶斯滤波器及可扩展二阶更新工具。
2025-05-12 cs.LG stat.ML
Scalable Bayesian dynamic covariance modeling with variational Wishart and inverse Wishart processes
我们实现了基于梯度的变分推断例程Wishart和逆Wishart过程，我们适用于贝叶斯模型的动态，异方差协方差阵的多变量时间序列。Wishart过程和逆Wishart过程由i.i.d.高斯过程，现有的变分推断算法，形成我们的方法的基础。这些方法很容易实现为一个黑盒和规模有利的长度的时间序列，但是，他们失败的情况下，Wishart过程，一个问题，我们解决了一个简单的修改成一个加性白噪声参数化的模型。这种修改也是实现构造的因子化变体的关键，允许推断额外扩展到高维协方差阵。通过实验，我们证明了一些（但不是所有）模型变量在预测金融工具收益率的协方差时优于多变量GARCH。
2019-11-04 cs.LG stat.ML
Active Learning Guided Design Space Refinement for Scalable Multi-Objective Bayesian Optimization in Materials Discovery
National Centre for Scientific Research “Demokritos”（希腊国家科学研究中心“德谟克利特”）
本研究提出主动学习引导的自适应搜索空间优化框架，结合多目标贝叶斯优化，在两类材料优化任务中验证其可高效缩减候选空间并保留关键优化区域，提升大规模材料优化效率。
2026-08-06 cond-mat.mtrl-sci cs.LG
Query-Efficient and Scalable Black-Box Adversarial Attacks on Discrete Sequential Data via Bayesian Optimization
Seoul National University（首尔国立大学）
我们专注于对离散序列数据模型进行对抗攻击的问题，在黑盒设置中，攻击者的目标是制作对抗示例，对受害者模型进行有限的查询访问。现有的黑盒攻击，主要是基于贪心算法，发现敌对的例子使用预先计算的关键位置扰动，这严重限制了搜索空间，并可能导致次优的解决方案。为此，我们提出了一个查询高效的黑盒攻击，使用贝叶斯优化，动态计算重要的位置，使用自动相关性确定（ARD）分类内核。当输入序列变长时，我们引入块分解和历史子采样技术来提高贝叶斯优化的可扩展性。此外，我们开发了一个后优化算法，发现具有较小扰动大小的对抗性示例。在自然语言和蛋白质分类任务上的实验表明，与现有的方法相比，该方法具有更高的攻击成功率，查询次数和修改率显著降低.
2022-06-17 cs.CR cs.LG
Automated Scalable Bayesian Inference via Hilbert Coresets
Massachusetts Institute of Technology（麻省理工学院）
贝叶斯数据分析中后验推理的自动化使专家和非专家都能够使用更复杂的模型，进行更快的探索性建模和分析，并确保实验的可重复性。然而，标准的自动后验推理算法在大规模的现代数据集上并不容易处理，并且使它们变得如此的修改通常是特定于模型的，需要专家调整，并且可以打破对推理质量的理论保证。这项工作建立在贝叶斯核心集框架的基础上，而是利用数据冗余来缩小数据集本身作为预处理步骤，提供全自动，可扩展的贝叶斯推断与理论保证。我们开始与一个直观的贝叶斯coreset建设稀疏向量和近似的重新制定，并证明其自动化和性能为基础的缺点，从使用的上确界规范。为了解决这些缺点，我们开发了希尔伯特核心集，即，在对数似然函数空间上的内积诱导的范数下构造贝叶斯余集。我们提出了两个希尔伯特coreset建设算法-一个基于重要性抽样，和一个基于弗兰克-沃尔夫算法-随着理论保证近似质量作为coreset大小的函数。由于建议的内积的精确计算是模型特定的，我们自动化的建设与随机有限维投影的对数似然函数。由此产生的自动coreset构造算法是简单的实现，并在各种模型与真实和合成数据集的实验表明，它提供了高质量的后验近似和推理的计算成本显着降低。
2019-02-28 cs.LG stat.CO stat.ML
Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
University of Waterloo（滑铁卢大学）；Vector Institute for AI（Vector人工智能研究院）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
在应用联邦学习（FL）框架的典型场景中，客户端通常没有足够的训练数据来生成准确的模型。因此，不仅提供点估计，而且还提供某种置信度概念的模型是有益的。高斯过程（GP）是一个强大的贝叶斯模型，具有自然校准的方差估计。然而，学习一个独立的全局GP是具有挑战性的，因为合并局部内核会导致隐私泄漏。为了保护隐私，以前考虑联邦GP的作品通过关注个性化设置或学习局部模型的集合来避免学习全局模型。我们提出了联邦贝叶斯神经回归（FedBNR），这是一种学习可扩展的独立全球联邦GP的算法，该算法尊重客户的隐私。我们通过定义统一的随机内核，将深度内核学习和随机特性结合起来，以实现可扩展性。我们表明，这种随机内核可以恢复任何平稳内核和许多非平稳内核。然后，我们推导出一种学习全局预测模型的原则性方法，就好像所有客户端数据都是集中的一样。我们还学习全局内核与知识蒸馏方法的非相同和独立分布（非i.i.d.）客户.在真实世界的回归数据集上进行了实验，与其他联邦GP模型相比，实验显示出统计上的显着改进。
2022-06-13 cs.LG
