Fixed-Domain Asymptotics Under Vecchia's Approximation of Spatial Process Likelihoods
大量的空间数据集的统计建模产生了大量的文献可扩展的空间过程的基础上Vecchia的近似。Vecchia对高斯过程模型的近似通过限制位置对其邻居的依赖性来快速评估可能性。我们建立推论性质的微遍历空间协方差参数的固定域渐近的范例内，当他们使用韦基亚近似估计。正式建立这些属性所需的条件进行了探讨，理论和经验，并进一步证实了有效性的Vecchia近似的固定域渐近的观点。
2023-01-11 math.ST stat.TH
Efficient bayesian spatially varying coefficients modeling for censored data using the vecchia approximation
本文提出基于Vecchia近似的高效贝叶斯高斯过程模型，用于处理受阻数据中的空间变化系数建模问题。
2025-11-26 stat.CO stat.ME
Vecchia-approximated Deep Gaussian Processes for Computer Experiments
深度高斯过程（DGP）通过函数组合升级普通GP，其中中间GP层扭曲原始输入，为非平稳动态建模提供灵活性。在最近的文献中出现了两种DGP制度。在机器学习中流行的“大数据”机制有利于近似的、基于优化的推理，以实现快速、高保真的预测。一个“小数据”制度，首选计算机代理建模，部署后集成增强不确定性量化（UQ）。我们的目标是通过引入Vecchia近似来扩展贝叶斯DGP后验推理的能力，从而弥合这一差距，允许线性计算缩放而不影响精度或UQ。我们的动机是模拟活动的替代建模，运行次数超过100，000次-对于以前的全贝叶斯实现来说太大了-并证明预测和UQ优于“大数据”竞争对手。所有方法都在CRAN上的“deepgp”包中实现。
2022-08-12 stat.CO
Scalable Heteroskedastic Gaussian Process Models for Large Inhomogeneous Datasets
Simon Fraser University（西蒙菲莎大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
该研究提出HetNV框架，结合Vecchia似然近似与残差非参数方差估计，用于大型异方差数据集的高斯过程回归，在保持均值预测精度的同时提升不确定性估计，且可应用于航天器等离子体测量的信号检测。
2026-08-25 stat.ME
Vecchia-Laplace approximations of generalized Gaussian processes for big non-Gaussian spatial data
广义高斯过程（GGP）是一种高度灵活的模型，它将潜在的GP与来自指数族的潜在非高斯似然相结合。GGP可以用于各种设置，包括GP分类，非参数计数回归，非高斯空间数据建模和分析点模式。然而，对GGP的推断在分析上可能是难以处理的，并且由于GP协方差阵的求逆，大型数据集带来计算挑战。我们提出了一个Vecchia-拉普拉斯近似的GGP，它结合了一个拉普拉斯近似的非高斯似然与计算效率的Vecchia近似的GP，从而在一个简单的，一般的，可扩展的，和准确的方法。我们提供模拟和真实空间数据的数值研究和比较。我们的方法在一个免费的R包中实现。
2020-06-04 stat.CO stat.ME
Scalable non-separable spatio-temporal Gaussian process models for large-scale short-term weather prediction
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出可扩展的非分离时空高斯过程模型，用于大尺度短期天气预测，通过改进的近似方法和GPU加速实现高效准确的预测。
2026-08-24 stat.AP
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们介绍了隐式贝叶斯神经网络，这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反，我们建议通过用潜变量增加每层的输入来诱导一个分布，该分布捕获神经网络上的不确定性。我们提出了适当的输入分布，并展示了最先进的性能，在大规模，数百万参数的图像分类任务的校准，鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
Robust and Scalable Bayesian Online Changepoint Detection
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
提出一种在线、可证明鲁棒且可扩展的贝叶斯变点检测算法，利用广义贝叶斯和扩散分数匹配实现闭式共轭后验，速度比最接近方法快10倍以上。
2023-05-12 cs.LG stat.ML
Simple and Scalable Parallelized Bayesian Optimization
CyberAgent, Inc.（赛博艾坚特公司）
近年来，利用并行和分布式计算资源已经成为解决高计算成本问题的关键。贝叶斯优化（BO）在诸如机器学习算法的超参数优化等评估成本高的问题中表现出了令人瞩目的结果。虽然已经开发了许多并行BO方法来有效地利用这些计算资源进行搜索，但这些方法假设同步设置或不可扩展。在本文中，我们提出了一个简单的和可扩展的异步并行设置BO方法。实验结果表明，该方法具有良好的性能。
2020-06-24 cs.LG stat.ML
Scalable Bayesian Learning with posteriors
Normal Computing
针对现代机器学习模型贝叶斯学习的计算挑战，本文引入可扩展PyTorch库posteriors，提出回火随机梯度马尔可夫链蒙特卡罗框架并改进深度集成以实现渐近无偏，通过实验验证其在冷后验效应研究和大语言模型应用中的效用。
2025-04-14 cs.LG stat.ML
Scalable Derivative Gaussian Processes via Exact Gradient Reduction
Department of Statistics University of Wisconsin–Madison（统计学系威斯康星大学麦迪逊分校）
提出TERA方法，利用精确梯度约简将导数高斯过程的计算复杂度从O(n^3 d^3)降至O(d m^2 + m^6)，实现高维空间中的可扩展推理。
2026-06-01 cs.LG stat.ML
An accuracy-runtime trade-off comparison of scalable Gaussian process approximations for spatial data
ETH Zurich（苏黎世联邦理工学院）
本文比较了不同高斯过程近似方法在似然评估、参数估计和预测中的准确性与运行时间，发现Vecchia近似在大多数情况下提供了最佳的准确性-运行时间权衡。
2026-05-19 stat.CO stat.ML
Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720, USA（化学与生物分子工程系，加州大学伯克利分校）
本文提出一种梯度信息损失函数用于贝叶斯神经网络训练，以在贝叶斯优化中利用梯度信息增强代理模型，提升预测精度并加快高维问题收敛。
2025-08-06 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
A Unified Particle-Optimization Framework for Scalable Bayesian Sampling
University at Buffalo（布法罗大学）；Duke University（杜克大学）
最近人们对开发可扩展的贝叶斯采样方法感兴趣，例如用于大数据分析的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）。标准SG-MCMC算法模拟来自离散时间马尔可夫链的样本以近似目标分布，因此样本可能是高度相关的，这是SG-MCMC的不期望的属性。相反，SVGD直接优化一组粒子来近似目标分布，因此能够用相对少得多的样本获得良好的近似。在本文中，我们提出了一个原则粒子优化框架的基础上Wasserstein梯度流统一SG-MCMC和SVGD，并允许开发新的算法。我们的框架将SG-MCMC解释为概率测度空间上的粒子优化，揭示了SG-MCMC和SVGD之间的紧密联系。我们的框架的关键组成部分是几个粒子近似技术，有效地解决了原来的偏微分方程的空间上的概率测度。在合成数据和深度神经网络上的大量实验证明了我们的可扩展贝叶斯采样框架的有效性和效率。
2018-07-10 cs.LG stat.ML
Scalable Batch Acquisition for Deep Bayesian Active Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Technology Innovation Institute（技术创新研究院）
在深度主动学习中，在每一步选择多个示例进行标记以高效工作尤其重要，尤其是在大型数据集上。与此同时，在贝叶斯设置，如BatchBALD，这个问题的现有解决方案，在选择大量的例子，与计算联合随机变量的互信息的指数复杂性有很大的局限性。因此，我们提出了大型BatchBALD算法，它提供了一个良好的基础近似的BatchBALD方法，旨在实现可比的质量，同时更计算效率。我们提供了该算法的复杂性分析，显示计算时间的减少，特别是对于大批量。此外，我们提出了一套广泛的实验结果的图像和文本数据，无论是玩具数据集和较大的，如CIFAR-100。
2023-02-16 cs.LG stat.ML
Scalable Metropolis-Hastings for Exact Bayesian Inference with Large Datasets
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；The Alan Turing Institute（艾伦·图灵研究所）
通过标准马尔可夫链蒙特卡罗（MCMC）方法进行贝叶斯推断的计算量太大，无法处理大型数据集，因为每步的成本通常与数据点$n$的数量类似$Θ(n)$。我们提出了可扩展的大都会黑斯廷斯（SMH）内核，利用高斯浓度的后验需要处理平均只有$O(1)$甚至$O(1/\sqrt{n})$数据点每一步。该方案基于因子化接受概率、伯努利过程快速模拟程序和控制变量思想的组合。相反，许多MCMC子采样方案，如固定步长的随机梯度Langevin动力学，我们的方法是准确的，只要不变分布是真正的后验，而不是一个approximatesit. We的性能，我们的算法理论上，并给出现实和可验证的条件下，它是几何遍历。这一理论证明了实证结果表明，整体性能优于标准的大都会黑斯廷斯和各种子采样算法。
2019-06-10 cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Scalable Global Optimization via Local Bayesian Optimization
Uber AI（优步人工智能实验室）；University of Warwick（华威大学）
贝叶斯优化最近成为一种流行的方法，用于昂贵的黑盒函数的样本有效优化。然而，应用到高维问题与几千个观察仍然具有挑战性，和困难的问题贝叶斯优化往往是没有竞争力的其他范例。在本文中，我们认为，这是由于隐含的同质性的全球概率模型和过分强调的探索，从全球收购的结果。这促使设计一个局部概率的方法，大规模的高维问题的全局优化。我们提出的$\texttt{TuRBO}$算法，适合本地模型的集合，并通过一个隐式的强盗的方法在这些模型之间执行一个原则性的全局分配的样本。全面的评估表明，$\texttt{TuRBO}$在跨越强化学习、机器人和自然科学的问题上优于机器学习和运筹学的最先进方法。
2020-02-24 cs.LG stat.ML
Scalable Bayesian Optimization via Focalized Sparse Gaussian Processes
Tsinghua University（清华大学）；Google DeepMind（谷歌DeepMind）
本文提出聚焦GP和FocalBO方法，通过稀疏高斯过程提升贝叶斯优化效率，实现对高维问题的高效优化。
2025-12-17 cs.LG stat.ML
Adaptive, Robust and Scalable Bayesian Filtering for Online Learning
School of Mathematical Sciences（数学科学学院）
该论文以贝叶斯滤波统一在线学习、序贯预测和上下文老虎机问题，提出自适应框架、鲁棒广义贝叶斯滤波器及可扩展二阶更新工具。
2025-05-12 cs.LG stat.ML
Scalable Bayesian dynamic covariance modeling with variational Wishart and inverse Wishart processes
我们实现了基于梯度的变分推断例程Wishart和逆Wishart过程，我们适用于贝叶斯模型的动态，异方差协方差阵的多变量时间序列。Wishart过程和逆Wishart过程由i.i.d.高斯过程，现有的变分推断算法，形成我们的方法的基础。这些方法很容易实现为一个黑盒和规模有利的长度的时间序列，但是，他们失败的情况下，Wishart过程，一个问题，我们解决了一个简单的修改成一个加性白噪声参数化的模型。这种修改也是实现构造的因子化变体的关键，允许推断额外扩展到高维协方差阵。通过实验，我们证明了一些（但不是所有）模型变量在预测金融工具收益率的协方差时优于多变量GARCH。
2019-11-04 cs.LG stat.ML
ISBO: Scalable Spatio-Temporal Bayesian Optimization with Log Gaussian Cox Process Models via the INLA-SPDE Approach
KAUST（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
研究针对时空数据的贝叶斯优化问题，提出首个可扩展框架ISBO，采用LGCP建模、INLA-SPDE推断，实验显示其峰值发现与强度恢复准确且速度显著提升，是点过程数据BO的实用方案。
2026-10-14 cs.LG stat.ML
Scalable Model-Based Gaussian Process Clustering
针对大型网格上的函数型数据，提出将Vecchia近似嵌入聚类任务并开发高效EM算法，解决了高斯过程聚类计算复杂度过高的问题，实现了大规模环境应用中的可扩展性。
2023-09-14 stat.AP stat.CO stat.ML
Learning non-Gaussian spatial distributions via Bayesian transport maps with parametric shrinkage
本文提出 ShrinkTM 方法，通过将贝叶斯传输映射分量向参数高斯族收缩并结合 Vecchia 近似，提升高维非高斯空间分布学习在少样本下的准确性与可扩展性。
2025-02-01 stat.AP stat.CO stat.ML
Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters
School of Electrical and Computer Engineering, University of Georgia（佐治亚大学电气与计算机工程学院）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
本文提出PoLAR-VBLL框架，通过正交化低秩适配器与变分推断结合，实现大规模语言模型的可扩展贝叶斯微调，提升不确定性量化能力。
2026-04-03 cs.LG stat.ML
Modeling Massive Spatial Datasets Using a Conjugate Bayesian Linear Regression Framework
UCLA（加州大学洛杉矶分校）
地理信息系统（GIS）和相关技术引起了统计人员对分析大型空间数据集的可扩展方法的极大兴趣。已经提出了各种可扩展的空间过程模型，可以很容易地嵌入到一个分层的建模框架，进行贝叶斯推断。虽然统计研究的重点主要是针对创新和更复杂的模型开发，相对有限的注意力已被给予的做法，易于实施的可扩展的层次模型的实践科学家或空间分析师。本文讨论了如何将点参考空间过程模型转换为共轭贝叶斯线性回归，以快速提供空间过程的推断。该方法允许直接从回归参数、潜在过程和预测随机变量的联合后验分布中进行精确采样（避免了马尔可夫链蒙特卡罗等迭代算法），并可在R.
2021-09-09 cs.LG stat.ML
On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors
本文研究深度贝叶斯神经网络后验采样的局部自适应扩散方法，证明即使步长趋零且全批处理，这些方法仍可能采样到有偏分布，不收敛于正确后验。
2024-03-14 cs.LG stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化（BO）是一种基于模型的无梯度黑箱函数优化方法。通常，BO由高斯过程（GP）驱动，其算法复杂度是评估数量的立方。因此，基于GP的BO不能利用大量的过去或相关的函数评估，例如，来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案，其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合，该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
University of Macau（澳门大学）
本文提出DQN-SBL方法，通过忽略大型协方差矩阵求逆将复杂度从$O(M^3)$降至$O(M)$，解决了稀疏贝叶斯学习在大规模问题中的内存溢出问题，并在保持泛化能力和模型稀疏性的同时实现了良好扩展。
2023-09-11 cs.LG stat.ML
Scalable Structure Learning of Continuous-Time Bayesian Networks from Incomplete Data
Technische Universität Darmstadt（达姆施塔特工业大学）
连续时间贝叶斯网络（CTBN）代表了一个紧凑而强大的框架，用于理解多变量时间序列数据。给定完整的数据，参数和结构可以有效地估计在封闭的形式。然而，如果数据是不完整的，CTBN的潜在状态必须通过费力地模拟假定CTBN的棘手的动态来估计。这是一个问题，特别是对于结构学习任务，其中必须对可能结构的超指数增长集合中的每个元素进行此操作。为了规避这个臭名昭著的瓶颈，我们开发了一种新的基于梯度的结构学习方法。我们假设CTBN的生成器是由来自不同结构的生成器的混合物组成的，而不是单独对所有可能的结构进行采样和评分。在这个框架中，结构学习可以通过混合权重的基于梯度的优化来执行。我们将这种方法与一种新的变分方法相结合，该方法允许对这种混合边际可能性进行封闭式计算。我们展示了我们的方法的可扩展性，通过学习结构，以前无法访问的大小从合成和真实世界的数据。
2019-11-01 cs.LG stat.ML
Scalable Constrained Bayesian Optimization
Facebook（脸书）；Amazon（亚马逊）；Uber AI（优步人工智能）
在黑盒约束下的高维黑盒函数的全局优化是机器学习、控制和工程中的一个普遍任务。这些问题是具有挑战性的，因为可行集通常是非凸的，很难找到，除了维数和底层函数的异质性的诅咒。特别是，这些特征显着影响贝叶斯优化方法的性能，否则已经成为无约束设置中的样本有效优化的事实标准，留给从业者进化策略或进化论。我们提出了可扩展的约束贝叶斯优化（SCBO）算法，克服了上述挑战，并推动贝叶斯优化的适用性远远超出了国家的最先进的。一个全面的实验评估表明，SCBO在各种基准取得了优异的成绩。为此，我们提出了两个新的控制问题，我们希望科学界的独立价值。
2021-02-28 cs.AI cs.LG stat.ML
Efficient and Scalable Batch Bayesian Optimization Using K-Means
IBM Research UK（IBM英国研究院）
本文提出了一种新的贝叶斯优化批量抽样算法--K-Means批量贝叶斯优化（KMBBO）。KMBBO使用无监督学习来有效地估计模型采集函数的峰值。我们在实证实验中表明，我们的方法优于目前最先进的批分配算法的各种测试问题，包括调整算法超参数和一个具有挑战性的药物发现问题。为了适应现实世界中的高维数据的问题，我们提出了一个修改KMBBO结合压缩感知投影到一个较低的维度子空间的优化。我们的经验表明，这两步方法优于没有降维发生的算法。
2018-09-19 cs.AI cs.LG stat.ML
Scalable Bayesian Modelling of Paired Symbols
我们提出了一种新的，可扩展的贝叶斯方法来建模的发生对符号（i，j）从一个大的词汇。观察到的对被假定为生成一个简单的流行度为基础的选择过程，然后使用偏好函数进行审查。基于推理的有理有据的原则变定界，并使用新的网站独立的界限，我们展示了如何可扩展的推理过程可以获得大数据集。最先进的结果呈现在现实世界的电影观看数据。
2014-09-10 stat.ML
Patterns of Scalable Bayesian Inference
数据集不仅在规模上而且在复杂性上都在增长，这就产生了对丰富模型和量化不确定性的需求。贝叶斯方法非常适合这种需求，但扩展贝叶斯推断是一个挑战。为了应对这一挑战，最近有相当多的工作基于对模型结构、底层计算资源和渐近正确性的重要性的不同假设。因此，有一个动物园的想法，几乎没有明确的总体原则。在本文中，我们试图确定统一的原则，模式和直觉的缩放贝叶斯推断。我们回顾现有的工作，利用现代计算资源与MCMC和变分逼近技术。从这个分类的想法，我们的特点，已被证明是成功的设计可扩展的推理程序和评论的前进道路上的一般原则。
2016-03-22 stat.ML
REX-SUB: A Scalable Subsampling Strategy for Modeling Large Spatial Datasets
George Mason University（乔治梅森大学）
本文提出REX-SUB子采样策略，通过随机交换算法高效选择小样本以最小化空间GP模型的预测误差，并结合可扩展的Vecchia近似方法提升计算效率，实验表明其在预测误差和区间评分上优于其他子采样方法。
2026-05-15 stat.CO stat.ME
Scalable nonparametric Bayesian learning for heterogeneous and dynamic velocity fields
University of Michigan（密歇根大学）；Duke University（杜克大学）
对复杂时空数据中的异构模式的分析在应用科学和工程的各个领域都有应用，包括训练自动驾驶汽车在复杂的交通场景中导航。在交通领域中出现的应用程序的动机，在本文中，我们开发了一个模型，用于学习异构和动态模式的速度场数据。我们从基本的非参数贝叶斯建模元素，如分层Dirichlet过程和无限隐马尔可夫模型，而每个均匀的速度场元素的光滑度是捕获的高斯过程前。特别关注的是所提出的模型的可扩展的近似推理方法，这是通过采用顺序MAP估计从无限HMM模型和一个有效的顺序GP后验计算技术，这是有效地工作在模拟数据集。最后，我们证明了我们的技术的NGSIM数据集的复杂的多车辆交互的有效性。
2021-02-15 cs.LG stat.ME stat.ML
Evaluating Scalable Bayesian Deep Learning Methods for Robust Computer Vision
Uppsala University（乌普萨拉大学）；ETH Zurich（苏黎世联邦理工学院）
虽然深度神经网络已经成为计算机视觉的首选方法，但绝大多数这些模型都无法正确捕捉其预测中固有的不确定性。估计这种预测不确定性可能至关重要，例如在汽车应用中。在贝叶斯深度学习中，预测不确定性通常被分解为不同类型的任意不确定性和认知不确定性。前者可以通过让神经网络输出某一概率分布的参数来估计。认知不确定性估计是一个更具挑战性的问题，虽然最近出现了不同的可扩展的方法，没有广泛的比较已经在现实世界的设置。因此，我们接受这一任务，并提出了一个全面的评估框架，可扩展的认知不确定性估计方法在深度学习。我们提出的框架是专门设计来测试在现实世界中的计算机视觉应用所需的鲁棒性。我们还应用这个框架提供了第一个适当的广泛和结论性的比较，目前两个国家的最先进的可扩展的方法：集成和MC辍学。我们的比较表明，集成始终提供更可靠和实用的不确定性估计。代码可在https://github.com/fregu856/evaluating_bdl上获得。
2020-04-07 cs.CV cs.LG stat.ML
Scalable Multi-Class Bayesian Support Vector Machines for Structured and Unstructured Data
IBM Research（IBM研究（中心））；Dublin, Ireland（爱尔兰都柏林（注意：Dublin, Ireland是地址，非机构，按要求不应提取，此处原数据中可能存在格式错误，正确机构应为IBM Research，而Dublin, Ireland是地点信息，根据提取规则，不应提取地址，因此仅保留IBM Research））
我们引入了一个新的贝叶斯多类支持向量机，制定了一个伪似然多类铰链损失的形式的位置-规模混合高斯。我们推导出一个基于变分推理的训练目标，基于梯度的学习。此外，我们采用了一个诱导点近似的规模推断大数据集。此外，我们开发了混合贝叶斯神经网络，将标准深度学习组件与所提出的模型相结合，以实现对非结构化数据的学习。我们提供的经验证据表明，我们的模型优于竞争对手的方法在68个结构化和两个非结构化数据集的分类实验的训练时间和准确性。最后，我们强调了我们的模型在产生分类预测不确定性方面的关键能力，并通过展示其在大规模主动学习和对抗图像检测任务中的有效性。
2018-06-07 cs.CR cs.LG stat.ML
BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
结构方程模型（SEM）是一个有效的框架，通过一个有向无环图（DAG）表示的因果关系的原因。最近的进展使有效的最大似然点估计的DAG从观测数据。然而，在实际场景中，点估计可能无法准确地捕获推断基础图时的不确定性，其中真实DAG是不可识别的和/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估计分布在DAG特征的线性高斯SEM。由于图的离散性和组合性，在DAG上开发完整的贝叶斯后验是具有挑战性的。我们分析了DAG上可扩展VI的关键设计选择，例如1）通过表达变分族对DAG进行参数化，2）实现低方差随机优化的连续松弛，以及3）潜在变量的合适先验。我们提供了一系列的真实和合成数据的实验表明，BCD网优于最大似然方法的标准因果发现指标，如结构汉明距离在低数据制度。
2021-12-06 cs.AI cs.LG stat.ML
A Scalable Method to Exploit Screening in Gaussian Process Models with Noise
一种在规模上近似高斯对数似然的常见方法利用了这样一个事实，即在某些情况下，稀疏矩阵可以很好地近似精度矩阵。该策略是由\emph{screening effect}激发的，\emph{screening effect}是指这样的现象，其中过程$Z$在点$\mathbf{x}_0$处的线性预测主要取决于最接近$\mathbf{x}_0$的测量。但是简单的扰动，比如i.i.d.测量噪声，可以显著降低这种可利用现象发生的程度。虽然战略，以应付这个问题已经存在，肯定是忽视这个问题的改进，在这项工作中，我们提出了一个新的期望最大化算法的基础上，提供了几个优点。虽然在这项工作中，我们专注于应用Vecchia的近似（1988年），一个特别流行和强大的框架，我们可以证明真正的二阶优化的M步骤，该方法也可以应用于使用完全矩阵向量产品，使其适用于一类非常广泛的精度矩阵为基础的近似方法。
2023-02-16 stat.CO stat.ME
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
B3O: Scalable Boltzmann Batch Bayesian Optimization
Imperial College London（帝国理工学院伦敦分校）；Secondmind
提出B3O框架，将批量生成重构为从采集函数定义的玻尔兹曼分布中直接采样，理论证明其额外遗憾可忽略，实验表明在合成基准和复杂应用任务中优于现有方法。
2026-06-29 cs.LG
Automated Scalable Bayesian Inference via Hilbert Coresets
Massachusetts Institute of Technology（麻省理工学院）
贝叶斯数据分析中后验推理的自动化使专家和非专家都能够使用更复杂的模型，进行更快的探索性建模和分析，并确保实验的可重复性。然而，标准的自动后验推理算法在大规模的现代数据集上并不容易处理，并且使它们变得如此的修改通常是特定于模型的，需要专家调整，并且可以打破对推理质量的理论保证。这项工作建立在贝叶斯核心集框架的基础上，而是利用数据冗余来缩小数据集本身作为预处理步骤，提供全自动，可扩展的贝叶斯推断与理论保证。我们开始与一个直观的贝叶斯coreset建设稀疏向量和近似的重新制定，并证明其自动化和性能为基础的缺点，从使用的上确界规范。为了解决这些缺点，我们开发了希尔伯特核心集，即，在对数似然函数空间上的内积诱导的范数下构造贝叶斯余集。我们提出了两个希尔伯特coreset建设算法-一个基于重要性抽样，和一个基于弗兰克-沃尔夫算法-随着理论保证近似质量作为coreset大小的函数。由于建议的内积的精确计算是模型特定的，我们自动化的建设与随机有限维投影的对数似然函数。由此产生的自动coreset构造算法是简单的实现，并在各种模型与真实和合成数据集的实验表明，它提供了高质量的后验近似和推理的计算成本显着降低。
2019-02-28 cs.LG stat.CO stat.ML
Scalable Bayesian Network Structure Learning with Splines
University of Waterloo（滑铁卢大学）
贝叶斯网络（BN）的图结构可以使用众所周知的评分和搜索方法从数据中学习。以前的工作已经表明，将条件概率分布（CPD）的结构化表示纳入评分和搜索方法可以提高学习图的准确性。在本文中，我们提出了一种新的方法，能够学习BN的图形，同时建模变量之间的线性和非线性局部概率关系。我们实现这一目标的组合特征选择，以减少局部关系的搜索空间和扩展的得分和搜索方法，将建模的CPD变量作为多元自适应回归样条（MARS）。MARS是表示为分段样条函数的多项式回归模型。我们在一组离散和连续的基准实例上表明，我们提出的方法可以提高学习图的准确性，同时扩展到具有大量变量的实例。
2022-06-20 cs.AI cs.LG stat.ML
Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks
大型多层神经网络训练的反向传播最近取得了国家的最先进的结果，在广泛的问题。然而，使用反向传播进行神经网络学习仍然存在一些缺点，例如，必须将大量超参数调整到数据，缺乏校准的概率预测，以及过度拟合训练数据的趋势。原则上，学习神经网络的贝叶斯方法不存在这些问题。然而，现有的贝叶斯技术缺乏对大数据集和网络规模的可扩展性。在这项工作中，我们提出了一种新的可扩展的方法学习贝叶斯神经网络，称为概率反向传播（PBP）。与经典的反向传播类似，PBP的工作原理是通过网络计算概率的前向传播，然后进行梯度的后向计算。在10个真实世界数据集上进行的一系列实验表明，PBP比其他技术快得多，同时提供了有竞争力的预测能力。我们的实验还表明，PBP提供了准确的估计后验方差的网络权重。
2015-07-15 stat.ML
From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference
Universidade do Estado de Minas Gerais (UEMG)（巴西米纳斯戈亚斯州大学）；Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院）
本文研究了浅层贝叶斯神经网络到高斯过程的收敛性，提出了一种新的协方差函数，并通过实验验证了其在可扩展推断中的有效性。
2026-02-26 cs.AI cs.LG stat.ML
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）
提出变分混合专家路由（VMoER），通过将贝叶斯推断限制在专家选择阶段，实现大规模模型的不确定性校准，在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC，且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
Scalable Nonparametric Bayesian Inference on Point Processes with Gaussian Processes
在本文中，我们提出了第一个非参数贝叶斯模型，使用高斯过程进行推断泊松点过程，而不诉诸网格化的域或引入潜在的细化点。与竞争模型不同，竞争模型的规模是立方的，并且在数据点的数量上有平方的内存需求，我们的模型具有线性复杂度和内存需求。我们提出了一个MCMC采样器，并表明我们的模型是更快，更准确，并产生更少的相关样本比竞争模型的合成和现实生活中的数据。最后，我们表明，我们的模型很容易处理的数据大小没有考虑到目前为止的替代方法。
2015-05-09 stat.ML
Big Learning with Bayesian Methods
Tsinghua University（清华大学）
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣，大学习是一个新兴的子领域，研究可扩展的机器学习算法，系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法，在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展，包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理，以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
Learning an Astronomical Catalog of the Visible Universe through Scalable Bayesian Inference
University of California, Berkeley（加州大学伯克利分校）；Intel Corporation（英特尔公司）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
Celeste是一个用于推断天文目录的程序，可获得最先进的科学结果。到目前为止，Celeste已经被扩展到最多数百兆字节的天文图像：贝叶斯后验推理在计算上是出了名的苛刻。在本文中，我们报告了一个可扩展的，并行版本的Celeste，适合从现代大规模天文数据集的学习目录。我们的算法创新包括贝叶斯后验推理的快速数值优化例程和将天文优化问题分解为子问题的统计有效方案。我们的可扩展实现完全是用Julia编写的，Julia是一种新的高级动态规划语言，专为科学和数值计算而设计。我们使用朱莉娅的高层次结构的共享和分布式内存并行，并证明有效的负载均衡和高效的扩展高达8192至强核心的NERSC科里超级计算机。
2016-11-10 astro-ph.IM cs.DC cs.LG
Scalable Bayesian Preference Learning for Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种可扩展的贝叶斯偏好学习方法，用于联合预测个人的偏好以及群体的共识。人们的意见往往差异很大，因此很难从少量的个人数据中预测他们的偏好。当每个项目的标签很少时，个体偏见也使得推断群体的共识变得更加困难。我们通过将矩阵分解与高斯过程相结合来解决这些挑战，使用贝叶斯方法来考虑噪声和稀疏数据所产生的不确定性。我们的方法利用输入特征，如文本嵌入和用户元数据，来预测不在训练集中的新项目和用户的偏好。由于以前基于高斯过程的解决方案不能扩展到大量的用户，项目或成对标签，我们提出了一种随机变分推理方法，限制计算和内存成本。我们的推荐任务的实验表明，我们的方法是有竞争力的，尽管我们的可扩展的推理近似与以前的方法。我们展示了该方法的可扩展性上的自然语言处理任务与成千上万的用户和项目，并显示在这个任务的最先进的改进。我们将我们的软件公开用于未来的工作。
2019-12-11 cs.CL cs.HC cs.LG
Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles
Mathematics Department, University of Manchester（曼彻斯特大学数学系）；Department of Electrical and Computer Engineering, Southern Methodist University（南方 Methodist 大学电气与计算机工程系）；DEVCOM US Army Research Laboratory（美国陆军研发实验室）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）；Cognizant AI Labs（Cognizant AI 实验室）；Quantum Information Science Section, Oak Ridge National Laboratory（橡树岭国家实验室量子信息科学部门）；Tulane University（Tulane 大学）
本文提出可扩展贝叶斯蒙特卡洛（SBMC）方法，通过并行SMC或MCMC算法在点估计与后验之间插值，在相同计算时间内取得与深度集成相当或更好的精度，并显著提升认知不确定性量化能力。
2025-08-21 cs.LG stat.CO stat.ML
