Weighted Bayesian Bootstrap for Scalable Bayes
我们开发了一个加权贝叶斯Bootstrap(WBB)的机器学习和统计。WBB通过从高维后验分布采样来提供不确定性量化。WBB计算速度快,可扩展,仅使用离线优化软件,如TensorFlow。我们提供了适用于各种机器学习和统计模型的正则条件。我们在正则化回归、趋势过滤和深度学习中说明了我们的方法。最后,我们总结了未来研究的方向。
2018-03-12 stat.ME
Scalable Bayesian change point detection with spike and slab priors
我们研究了使用穗和板先验一致的估计的数量变化点和它们的位置。利用最近的结果在变量选择文献中,我们表明,基于尖峰和板先验的估计器在多个离线变化点检测问题中实现了最佳定位率。基于此估计,我们提出了一个贝叶斯变点检测方法,这是最快的贝叶斯方法之一,它是更强大的错误指定的误差项比竞争的方法。我们通过实证工作证明了我们的方法相对于一些国家的最先进的基准的良好性能。
2021-06-18 stat.ME
Scalable Bayesian nonparametric measures for exploring pairwise dependence via Dirichlet Process Mixtures
在这篇文章中,我们提出了新的贝叶斯非参数方法,使用Dirichlet过程混合(Dirichlet Process Mixture)模型来检测随机变量之间的成对依赖关系,同时考虑潜在分布形式的不确定性。一个关键的标准是,这些程序应该扩展到大型数据集。在这方面,我们发现,正式计算的贝叶斯因子的依赖与。独立联合概率测度在计算上是不可行的。为了解决这个问题,我们提出了贝叶斯诊断措施,对成对独立的“空模型”的特征证据。在模拟研究中,以及一个真正的数据分析,我们表明,我们的方法提供了一个有用的工具,探索性的非参数贝叶斯分析的大型多元数据集。
2016-04-27 stat.ME
Scalable Bayesian nonparametric regression via a Plackett-Luce model for conditional ranks
我们提出了一种新的贝叶斯非参数回归模型的协变量X和连续的,真正的响应变量Y。该模型根据Y和X的边缘分布以及调整条件分布F(y)的随机排序的回归函数进行参数化|x)。通过采用近似的复合似然方法,我们表明,由此产生的后验推理可以解耦的模型的单独组件。该过程可以扩展到非常大的数据集,并允许使用来自贝叶斯非参数密度估计和Plackett-Luce排名估计的标准现有软件。作为一个例子,我们展示了我们的方法在美国人口普查数据集上的应用,该数据集有超过130万个数据点和100多个协变量。
2015-06-24 stat.ME
Scalable Bayesian modeling, monitoring and analysis of dynamic network flow data
网络中的流量计数数据出现在许多应用中,例如汽车或航空运输,某些定向社交网络上下文和互联网研究。使用的互联网浏览器流量通过一个国际新闻网站的网站部分的例子,我们提出了贝叶斯分析的两个链接类的模型,在串联,允许快速,可扩展和可解释的贝叶斯推断。我们首先为流式计数数据开发了灵活的状态空间模型,能够实时有效地自适应地表征和量化网络动态。然后,我们使用这些模型作为仿真器的更结构化的,随时间变化的重力模型,允许正式解剖网络动态。这会产生可解释的交通流特性的推断,并在网络节点之间的相互作用的动态。贝叶斯监测理论定义了一种策略,当网络流量数据偏离基于模型的预测时,进行顺序模型评估和自适应。探索性和连续的监测分析不断变化的流量在网络上的网站段在电子商务演示了这种耦合的贝叶斯仿真方法来分析流网络计数数据的效用。
2016-07-09 stat.ME
Scalable skewed Bayesian inference for latent Gaussian models
针对潜在高斯模型,提出基于INLA的偏态拉普拉斯变分推断扩展,兼顾偏态与高斯边缘及依赖保持,可扩展处理重尾似然和类别不平衡数据,经模拟和罕见病案例验证。
2025-02-26 stat.ME
Scalable and optimal Bayesian inference for sparse covariance matrices via screened beta-mixture prior
本文提出一种结合连续收缩先验与筛选过程的可扩展贝叶斯方法,用于稀疏协方差矩阵估计,解决了“大p,小n”高维问题,并具备确定筛选性质与最优收敛速率。
2023-11-21 stat.ME
Flexible and Scalable Bayesian Modelling of Spatio-Temporal Hawkes Processes
Faculty of Informatics, Università della Svizzera italiana(瑞士意大利大学信息学院);Department of Mathematics and Statistics, University of Cyprus(塞浦路斯大学数学与统计系)
本文提出一种全贝叶斯非参数框架,利用加性高斯过程建模空间-时间Hawkes过程,通过分离时空效应提升可解释性,同时保持高灵活性,并通过稀疏变分推断实现可扩展性。
2026-03-30 stat.ME
Multiple Jump MCMC: A Scalable Algorithm for Bayesian Inference on Binary Model Spaces
University of Amsterdam(阿姆斯特丹大学);Sabanci University(萨贝里大学)
本文提出多重跳跃MCMC算法,用于二元模型空间的贝叶斯推断,该算法简单、无拒绝机制且速度快,适用于高斯图模型、异或模型和变量选择等场景。
2026-04-02 stat.ME
B-MASTER: Scalable Bayesian Multivariate Regression for Master Predictor Discovery in Colorectal Cancer Microbiome-Metabolite Profiles
Virginia Commonwealth University(弗吉尼亚联邦大学);Harvard Medical School(哈佛医学院);Rice University(莱斯大学);University of Missouri(密苏里大学)
提出可扩展贝叶斯多元回归框架B-MASTER,结合L1稀疏性和L2组收缩,识别系统性调控代谢组的微生物属,并在结直肠癌数据中发现关键主预测因子。
2026-06-01 stat.ME
SIMBA: Scalable Image Modeling using a Bayesian Approach, A Consistent Framework for Including Spatial Dependencies in fMRI Studies
University of Michigan(密歇根大学);National Institute of Mental Health, NIH(美国国立精神卫生研究所,美国国立卫生研究院)
本研究提出SIMBA(使用贝叶斯方法的可扩展图像建模)用于组水平fMRI分析,通过高斯过程先验捕捉空间关联模式,采用低秩核近似解决计算挑战,模拟和实际数据验证其性能优于竞争方法。
2025-11-16 stat.ME
Practical Bayesian Modeling and Inference for Massive Spatial Datasets On Modest Computing Environments
随着地理信息系统和相关计算技术的不断进步,统计人员经常需要分析非常大的空间数据集。在过去的十年里,这已经产生了很大的兴趣,已经太大了,无法在这里总结,在可扩展的方法来分析大型空间数据集。可扩展的空间过程模型已被发现特别有吸引力,由于其丰富性和灵活性,特别是在贝叶斯范式,由于其存在于分层模型设置。然而,目前在这一领域的绝大多数研究文章都是面向创新理论或更复杂的模型开发。非常有限的注意力已被给予的做法,易于实施的可扩展的层次模型的实践科学家或空间分析师。这篇文章被提交到该杂志的实践部分,目的是开发大规模可扩展的贝叶斯方法,可以快速提供空间过程的贝叶斯推断,这些推理实际上与使用更昂贵的替代品获得的推理没有区别。一个关键的重点是在非常标准的(适度的)计算环境(例如,标准的台式机或膝上型计算机)使用容易获得的统计软件包,而不需要消息解析接口或并行编程范例。关键的见解提供有关的假设和近似的实际效率。
2019-05-10 stat.ME
Bayesian Graphical Models under Positivity Constraints: A Scalable Generalized Likelihood Approach
University of Florida(佛罗里达大学);Florida State University(佛罗里达州立大学)
该研究提出正性约束下贝叶斯图模型的可扩展广义似然方法,通过改进采样算法提升高维精度矩阵估计效率,在合成与金融数据上表现出计算优势。
2026-10-23 stat.ME
Scalable Rejection Sampling for Bayesian Hierarchical Models
贝叶斯分层建模是一种流行的方法来捕捉未观察到的异质性在各个单位。然而,标准的估计方法,如马尔可夫链蒙特卡罗(MCMC)的建模结果,从大量的单位可能是不切实际的。本文提出了一种新的贝叶斯模型的后验分布抽样方法,而不需要使用MCMC。样本是独立的,所以它们可以并行收集,我们不需要关心链收敛和自相关等问题。该算法在单个单元条件独立的弱假设下是可扩展的,使其适用于大型数据集。它也可以用来计算边际似然。
2014-11-02 stat.CO stat.ME
Bayesian Sociality Models: A Scalable and Flexible Alternative for Network Analysis
针对潜在空间模型的可识别性难题,研究提出贝叶斯社会性模型,构建结合马尔可夫链蒙特卡洛与变分推断的贝叶斯推断框架,验证其在多类网络分析任务中的稳健性,为网络科学提供可扩展、可解释的通用工具。
2025-03-18 stat.CO stat.ME
Scalable Bayesian inference for time series via divide-and-conquer
Duke University(杜克大学);The University of Western Australia(西澳大学);Google LLC(谷歌)
针对极长时间序列的贝叶斯推断可扩展性难题,本文提出一种带精度保证的简单分而治之方法,并通过模拟与真实数据验证其有效性。
2025-10-21 stat.CO stat.ME
Scalable Bayesian Spatiotemporal Tensor Modeling for Censored and Missing Areal Data
Pontificia Universidad Católica de Chile(智利天主教 Pontificia 大学);National Chung Hsing University(国立中兴大学);China Medical University(中国医药大学);University of Connecticut(康涅狄格大学)
本文提出了一种新的贝叶斯方法,用于处理具有缺失和 censor 观测的时空区域数据,通过结合SAR和DAGAR模型的空间依赖结构和时间自回归成分,实现了统一的时空框架,提高了模型的可解释性和预测性能。
2026-09-21 stat.ME
Bayesian Fusion: Scalable unification of distributed statistical analyses
最近有相当大的兴趣在解决统一的分布式统计分析到一个单一的连贯推理的问题。这个问题在许多情况下自然会出现,包括在大数据环境中,在隐私约束下工作时,以及在贝叶斯模型选择中。大多数现有的方法依赖于方便的近似的分布式分析。虽然通常是计算效率高,并容易缩放相对于被统一的分析的数量,近似的方法可以有显着的缺点-推理的质量可以迅速降低与被统一的分析的数量,并可以基本上是有偏见的,即使在统一的少量的分析,不同意。相比之下,Dai等人(2019)最近的Fusion方法是一种拒绝抽样方案,该方案易于并行化且精确(避免除蒙特卡罗误差外的任何形式的近似),尽管其适用性有限,无法统一少量低维分析。在本文中,我们介绍了一个实用的贝叶斯融合方法。我们扩展了融合方法的理论基础,通过将其嵌入到序贯蒙特卡罗算法中,我们能够恢复正确的目标分布。通过对该方法实施的广泛指导,我们从理论上和经验上证明了贝叶斯融合对越来越多的分析具有鲁棒性,并且一致地统一了不一致的分析。这是实现的,而计算上的竞争力与近似方案。
2021-02-03 stat.ME
Scalable Bayesian inference on high-dimensional multivariate linear regression
本文针对高维多元线性回归中系数矩阵与误差精度矩阵的联合贝叶斯估计问题,提出基于spike and slab和DAG-Wishart先验的精确方法及忽略响应依赖的两步近似方法,并证明其选择一致性与后验收敛速率。
2025-08-22 stat.ME
Scalable Bayesian Nonparametric Clustering and Classification
我们开发了一个可扩展的多步蒙特卡罗算法推理下的一大类非参数贝叶斯模型的聚类和分类。每一步都是“并行的”,并且可以使用相同的马尔可夫链蒙特卡罗采样器来实现。我们的方法的简单性和通用性使得推理适用于大型数据集的贝叶斯非参数混合模型。具体来说,我们应用的方法推断下的产品分区模型与回归协变量。我们展示了两个激励数据集的推理结果:一个大型的电子健康记录(EHR)和一个银行电话营销数据集。我们发现有趣的集群和良好的分类性能相对于其他广泛使用的竞争分类。
2018-06-07 stat.CO stat.ME
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Scalable Bayesian uncertainty quantification in imaging inverse problems via convex optimization
提出了一种大规模成像逆问题的贝叶斯不确定性量化方法。我们的方法适用于所有的贝叶斯模型是对数凹,最大后验概率(MAP)估计是一个凸优化问题。该方法是一个框架,用于分析MAP估计中观察到的特定结构的置信度(例如,医学成像中的病变,天文成像中的天体来源),以便能够将它们用作证据,为决策和结论提供信息。准确地说,根据贝叶斯决策理论,我们试图通过执行贝叶斯假设检验来断言仔细检查下的结构,该贝叶斯假设检验如下进行:首先,它假设结构不存在于真实图像中,然后试图使用数据和先验知识以高概率拒绝该原假设。计算成像问题的这种测试通常是非常困难的,因为涉及的高维数。这项工作的一个主要特点是利用概率集中现象和底层凸几何制定贝叶斯假设检验作为一个凸问题,我们然后有效地解决了使用可扩展的优化算法。这允许缩放到其他贝叶斯计算方法在计算上无法负担的高分辨率和高灵敏度成像问题。我们说明了我们的方法,称为BUQO(贝叶斯不确定性量化优化),在一系列具有挑战性的傅立叶成像问题在天文学和医学。
2018-11-06 astro-ph.IM stat.ME
Scalable Decisions using a Bayesian Decision-Theoretic Approach
Amazon.com, Inc.(亚马逊公司);Stanford University(斯坦福大学)
本文提出一种贝叶斯决策理论框架,通过整合多个目标和权衡,实现更高效和可扩展的决策制定。
2026-01-27 stat.AP stat.ME
Scalable Bayesian modeling for smoothing disease risks in large spatial data sets
在空间统计学文献中已经提出了几种方法来分析连续域中的大数据集。然而,新的方法来分析高维面积数据仍然很少。在这里,我们提出了一个可扩展的贝叶斯建模方法,用于平滑高维数据中的死亡率(或发病率)风险,即当小区域的数量非常大时。该方法在R附加包bigDM中实现。模型拟合和推理是基于“分而治之”的思想,并使用集成的嵌套拉普拉斯近似和数值积分。我们分析了该建议的实证表现,在一个全面的模拟研究,考虑两个无模型的设置。最后,该方法被应用于分析男性结直肠癌死亡率在西班牙城市显示其好处方面的标准方法的拟合优度和计算时间。
2020-07-15 stat.CO stat.ME
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析,包括高维度的鲁棒性的保证,明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时,预计将优于标准计划。当应用于贝叶斯变量选择问题时,新算法比现有的替代抽样方案效率高出几个数量级,并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Scalable Bayesian Inference for Population Markov Jump Processes
马尔可夫跳变过程(MJPs)的贝叶斯推断通常依赖于数据增强马尔可夫链蒙特卡罗,其中可用的观测值与系统状态或跳变相关。最先进的发展涉及表示MJP路径与辅助候选跳转时间,后来细化。然而,这些算法i)在涉及大容量或无限容量系统的情况下是不可行的,并且ii)不适合于所有观测类型。在本文中,我们建立并提出了一个通用的数据增强框架的基础上统一表示的潜在的非平稳跳跃过程的人口MJPs。这导致多个新的MCMC采样器,使精确的(在蒙特卡罗意义上)推理任务的模型参数。我们表明,建议的采样优于现有的流行的方法,并提供了大量的效率增益的应用部分观察到的随机流行病,移民过程和捕食者-猎物动力系统。
2019-04-17 stat.CO stat.ME
Scalable Bayesian Multiple Changepoint Detection via Auxiliary Uniformization
通过在按时间顺序排列的观测值上附加辅助事件时间,将离散时间观测值的贝叶斯多变点问题转化为连续时间观测值的贝叶斯多变点问题。提出了一种前向滤波后向采样(FFBS)算法,用于模拟塌陷吉布斯抽样方案中的变点。理想情况下,FFBS算法的计算成本和内存成本都可以二次缩小到变化点的数量,而不是观察的数量,否则这对于长序列的观察是禁止的。新的公式允许在新数据到达时变点的数量无限地增加。此外,一个随时间变化的变点复发率在不同的部分被假定为特征的不同尺度的运行长度的变点。然后,我们提出了一个连续时间Viterbi算法获得的最大后验概率(MAP)估计的变化点。我们通过仿真研究和实际数据分析证明了该方法。
2020-06-28 stat.CO stat.ME
Bayesian forecasting and scalable multivariate volatility analysis using simultaneous graphical dynamic models
最近推出的一类同步图形动态线性模型(SGDLM)定义了一种能力,规模在线贝叶斯分析和预测更高的维度时间序列。本文提出了SGDLM的方法,开发和嵌入一种新的,自适应的方法,同时预测器选择在线学习和预测的前向滤波。这些进展包括贝叶斯计算的可扩展性的发展,并在探索由此产生的潜力,改善短期预测的大规模波动矩阵的案例研究。一个案例研究涉及财务预测和投资组合优化与400维系列的每日股票价格。分析表明,SGDLM能够很好地预测波动率和共同波动率,使其非常适合为量化投资策略做出贡献,以提高投资组合回报。我们还确定了与序贯贝叶斯过滤分析相关的绩效指标,这些指标定义了金融市场压力增加的领先指标,与标准的圣路易斯联邦储备银行金融压力指数(STLFSI)指标相当,但领先。使用GPU实现的并行计算大大提高了拟合和使用这些模型的能力。
2016-06-27 stat.AP stat.ME
Improvements on Scalable Stochastic Bayesian Inference Methods for Multivariate Hawkes Process
针对多元霍克斯过程的贝叶斯推理问题,本文研究三类极少用于该场景的随机梯度算法,提出新的似然近似方法兼顾计算效率与精度,通过模拟和标普500板块日内价格风险研究验证效果。
2025-02-21 stat.CO stat.ME
Scalable Bayesian model averaging through local information propagation
我们表明,经典的向前逐步变量包含过程的概率版本可以作为一个通用的数据增强计划模型空间分布(广义)线性模型。该潜在变量表示采用马尔可夫过程的形式,从而允许信息传播算法被应用于从模型空间后验进行采样。特别是,我们提出了一个序贯蒙特卡罗方法实现有效的无偏贝叶斯模型平均在高维问题,利用建议分布构造使用本地信息传播。我们说明了我们的方法-所谓的LIPS为本地信息传播为基础的采样-通过真实和模拟的例子,维数范围从15到1,000,并比较其性能估计后验包含概率和样本外预测的其他几种方法-即MCMC,BAS,iBMA和LASSO。此外,我们还表明,潜变量表示也可以作为一种建模工具,用于指定模型空间的先验知识,占模型的复杂性和条件包含关系。
2014-10-22 stat.CO stat.ME
A scalable two-stage Bayesian approach accounting for exposure measurement error in environmental epidemiology
本文提出基于Vecchia近似的稀疏多元正态先验两阶段贝叶斯方法,用于在环境流行病学中可扩展地处理暴露测量误差和空间错位问题,并通过模拟及哈里斯县出生结局数据分析验证其性能接近完全贝叶斯金标准。
2024-01-14 stat.AP stat.ME
Big Learning with Bayesian Methods
Tsinghua University(清华大学)
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣,大学习是一个新兴的子领域,研究可扩展的机器学习算法,系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法,在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展,包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理,以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
Scalable Bayesian transport maps for high-dimensional non-Gaussian spatial fields
多变量分布可以用从目标分布到简单参考分布的三角形迁移图来描述。我们提出了贝叶斯非参数推断的运输地图建模其组件使用高斯过程。这使得能够对地图估计进行正则化和不确定性量化,同时仍然产生封闭形式和可逆的后验地图。然后,我们专注于从少量的重复推断的非平稳空间场的分布。我们开发了特定的运输地图先验,是高度灵活的,是由一大类随机过程的行为的动机。由于数据相关的稀疏性和并行计算,我们的方法可扩展到高维分布。我们还讨论了扩展,包括Dirichlet过程混合灵活的边缘。我们提出的数值结果来证明我们的方法的准确性,可扩展性和实用性,包括非高斯气候模型输出的统计仿真。
2023-01-16 stat.AP stat.CO stat.ME
Scalable Monte Carlo for Bayesian Learning
本书面向研究生介绍MCMC高级主题,涵盖随机梯度、不可逆及连续时间MCMC等近十年新方法,聚焦数据量与维度可扩展性,推动贝叶斯计算在机器学习与AI中的应用。
2024-07-17 cs.LG stat.CO stat.ME
Scalable Bayesian Clustering for Integrative Analysis of Multi-View Data
National University of Singapore(新加坡国立大学);A*STAR(新加坡科技研究局)
本文提出基于离散空间镶嵌和 medoids 的可扩展贝叶斯距离聚类模型,以降低推理复杂度并扩展至多视图数据,在钱币学真实数据上验证了有效性。
2026-10-20 stat.CO stat.ME
Scalable nonparametric Bayesian learning for heterogeneous and dynamic velocity fields
University of Michigan(密歇根大学);Duke University(杜克大学)
对复杂时空数据中的异构模式的分析在应用科学和工程的各个领域都有应用,包括训练自动驾驶汽车在复杂的交通场景中导航。在交通领域中出现的应用程序的动机,在本文中,我们开发了一个模型,用于学习异构和动态模式的速度场数据。我们从基本的非参数贝叶斯建模元素,如分层Dirichlet过程和无限隐马尔可夫模型,而每个均匀的速度场元素的光滑度是捕获的高斯过程前。特别关注的是所提出的模型的可扩展的近似推理方法,这是通过采用顺序MAP估计从无限HMM模型和一个有效的顺序GP后验计算技术,这是有效地工作在模拟数据集。最后,我们证明了我们的技术的NGSIM数据集的复杂的多车辆交互的有效性。
2021-02-15 cs.LG stat.ME stat.ML
Highly Scalable Bayesian Geostatistical Modeling via Meshed Gaussian Processes on Partitioned Domains
本文介绍了一类可扩展的贝叶斯层次模型,用于分析海量地统计数据集。其基本思想结合了高维地质统计学的思想,通过划分空间域和使用稀疏诱导有向无环图(DAG)对分区中的区域进行建模。我们扩展的模型在DAG的一个定义良好的空间过程,我们称之为网格高斯过程(MGP)。一个主要的贡献是一个MGP的发展镶嵌域,伴随着一个吉布斯采样器的空间随机效应的有效恢复。特别是,立方MGP(Q-MGP)可以通过在吉布斯采样器内并行执行所有大规模操作来利用高性能计算资源,与顺序更新方案相比,改善了混合和计算时间。与一些现有的大型空间数据模型不同,Q-MGP有利于大量缓存昂贵的矩阵运算,使其特别适合处理时空遥感数据。我们将Q-MGP与大型合成和真实世界数据进行比较,以对抗最先进的方法。我们还说明了使用归一化差异植被指数(NDVI)数据从塞伦盖蒂公园地区恢复潜在的多变量时空随机效应在数百万个位置。源代码可在https://github.com/mkln/meshgp上获得。
2020-10-05 stat.CO stat.ME
Consistent and scalable Bayesian joint variable and graph selection for disease diagnosis leveraging functional brain network
考虑高维probit回归中协变量的回归系数和逆协方差阵的联合推断,其中预测变量既与二元响应相关,又在函数上相互关联.一个层次模型与穗和板坯先验的回归系数和逆协方差阵中的元素,同时进行变量和图形的选择。我们建立联合选择一致性的变量和底层图形的预测时,尺寸允许增长远远大于样本量,这是贝叶斯文献中的第一个理论结果。一个可扩展的吉布斯采样器推导出,在高维模拟研究中表现得更好,与其他国家的最先进的方法。我们通过功能性MRI数据集说明了所提出的方法的实际影响和实用性,其中具有改变的功能活动的感兴趣区域和潜在的功能性脑网络被推断并整合在一起,用于对疾病风险进行分层。
2022-03-14 math.ST stat.ME stat.TH
A scalable Bayesian double machine learning framework, with application to racial disproportionality assessment
King’s College London(伦敦国王学院);University of Glasgow(格拉斯哥大学)
提出一种结合贝叶斯经验似然与双机器学习的半参数部分线性结构回归方法,用于控制高维混杂并纳入先验假设,应用于伦敦拦截搜查数据发现种族不成比例受行政区种族构成影响。
2026-06-12 stat.AP stat.ME
Scalable Bayesian computation for crossed and nested hierarchical models
本文针对交叉随机效应和嵌套多级贝叶斯分层模型,提出计算复杂度随数据量和参数量线性增长的采样算法,并通过理论分析和真实数据实验验证其相比哈密顿蒙特卡洛的显著性能优势。
2023-10-05 stat.CO stat.ME
Scalable Bayesian regression in high dimensions with multiple data sources
高维回归的应用通常涉及多个来源或类型的协变量。我们提出了这种设置的方法,强调“宽数据”制度与大的总维数p和样本量n<<p。我们专注于一个灵活的岭型收缩水平,具体到每个数据类型或源,并自动设置经验贝叶斯。所有的估计,包括设定的收缩水平,制定主要是在内积矩阵的大小为n × n。这使得计算在宽数据范围内高效,并允许扩展到具有数百万特征的问题。此外,所提出的程序是免费的用户设置的调谐参数。我们展示了如何稀疏可以通过后处理的贝叶斯输出,通过约束最小化的某个库尔贝克-莱布勒散度。这会产生稀疏的解决方案与自适应,特定于源的收缩,包括一个封闭的形式的变体,规模非常大的p。我们提出的实证结果,从模拟研究的基础上,真实的数据和案例研究阿尔茨海默氏症,涉及数百万的功能和多个数据源。
2019-08-21 stat.CO stat.ME
Scalable Bayesian Spatial Mixture Modelling for Remote Sensing Image Segmentation
University of Edinburgh(爱丁堡大学);EOLAS Insight Ltd.(EOLAS洞察有限公司)
提出贝叶斯空间混合模型POTTERS,扩展Potts模型以处理空间依赖和先验信息,无需目标区域标签即可实现鲁棒的不确定性量化,并开发高效变分推断算法用于大规模遥感图像分割。
2026-06-28 stat.AP stat.ME
Bayesian Multinomial Logistic Normal Additive Regression for Microbiome Data Analysis
Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
本文提出MultiAddGPs,一种基于贝叶斯多项逻辑正态模型与加性高斯过程的半参数框架,用于高效分离微生物组数据中的线性和非线性协变量效应,显著提升计算速度与后验估计准确性,并产生新的生物学见解。
2026-11-11 stat.AP stat.ME
Scalable Bayesian inference for heat kernel Gaussian processes on manifolds
针对流形上热核高斯过程的贝叶斯推断,提出基于图拉普拉斯转移矩阵降秩近似与截断奇异值分解的高效估计方法,在保留数据内在几何结构的同时将计算复杂度从O(n^3)降至O(n),有效提升了大规模数据流形学习的可扩展性与准确性。
2025-09-12 math.ST stat.ME stat.TH
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory(布鲁克海文国家实验室);Texas A&M University(德克萨斯A&M大学);Argonne National Laboratory(阿贡国家实验室)
针对活性子空间方法在大模型中存储梯度内存过大的问题,提出压缩活性子空间(CAS),通过结构化等距嵌入降维后构建子空间,大幅降低内存需求,实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks
Brookhaven National Laboratory(布鲁克海文国家实验室)
提出构建神经网络参数低维主动子空间的新方案,通过识别对输出影响最大的参数方向,结合蒙特卡洛采样或变分推断实现有效且可扩展的贝叶斯推断,为回归任务提供可靠的预测和不确定性估计。
2023-09-06 cs.LG stat.ME stat.ML
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center(挪威计算中心);University of Oslo(奥斯陆大学)
由于可扩展的近似贝叶斯推断技术的发展,贝叶斯神经网络(BNN)最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点:参数和预测的不确定性变得容易获得,便于严格的统计分析。此外,还可以纳入先前的知识。然而,到目前为止,还没有可扩展的技术能够结合模型(结构)和参数的不确定性。本文在BNN中引入模型不确定性的概念,从而在模型和参数的联合空间中进行推理。此外,我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率,将模型空间的约束。最后,我们表明,通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性,允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Scalable Bayesian inference for high-dimensional mixed-type multivariate spatial data
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文提出了一种适用于高维混合类型多变量空间数据的贝叶斯方法,利用多元高斯过程和Vecchia近似进行高效推断,通过模拟和实际数据验证了方法的有效性。
2026-04-22 stat.CO stat.ME
Scalable Spatiotemporal Prediction with Bayesian Neural Fields
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
针对时空数据集规模扩大对灵活且可扩展统计方法的需求,本文提出贝叶斯神经场(BayesNF)模型,整合深度神经网络与分层贝叶斯推理,在气候、公共卫生数据预测等任务中提升性能并提供开源工具。
2024-11-26 cs.AI cs.LG stat.AP
Scalable Nonparametric Sampling from Multimodal Posteriors with the Posterior Bootstrap
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
越来越复杂的数据集对贝叶斯推断提出了许多挑战。基于马尔可夫链蒙特卡罗的传统后验采样可能计算量太大,本质上是串行的,并且后验模式之间的混合很差。此外,所有模型都是错误指定的,这使人们对传统贝叶斯更新的有效性产生了疑问。我们提出了一个可扩展的贝叶斯非参数学习例程,使后验采样通过适当的随机目标函数的优化。一个Dirichlet过程之前的未知数据分布帐户的模型误指定,并承认一个非常并行的后验自举算法,从非参数后验分布产生独立和准确的样本。我们的方法是特别善于通过随机重新启动机制从多峰后验分布采样。我们证明了我们的方法在高斯混合模型和稀疏逻辑斯谛回归的例子。
2019-08-25 cs.LG stat.ME stat.ML
Accurate, scalable, and efficient Bayesian optimal experimental design with derivative-informed neural operators
针对高维贝叶斯最优传感器设计计算昂贵的问题,本文提出基于导数信息维度归约与 DINO 替代模型的框架,并结合改进交换贪心算法实现误差可控、可扩展且超1000倍加速。
2024-09-09 cs.CE math.OC stat.ME
Scalable and Calibrated Sampling for Bayesian Generalized Linear Mixed Model via Stochastic Gradient Markov Chain Monte Carlo
Duke University(杜克大学);Universität Bern(伯尔尼大学);University of Miami(迈阿密大学)
本文提出了一种针对广义线性混合模型的随机梯度马尔可夫链蒙特卡洛算法,通过Fisher恒等式构建梯度估计器,实现大规模数据下的准确后验推断,并通过模拟和电子健康记录分析验证了方法的有效性。
2026-11-11 stat.CO stat.ME stat.ML
Scalable Bayesian high-dimensional local dependence learning
在这项工作中,我们提出了一个可扩展的贝叶斯过程中学习的局部依赖结构的高维模型中的变量具有自然的顺序。变量的排序可以按时间、空间位置的邻近程度等进行索引,自然的假设是,距离很远的变量往往具有弱相关性。这些模型在金融、基因组关联分析和空间建模等领域有着广泛的应用。我们采用了一个灵活的框架下,每个变量是依赖于它的邻居或前辈,和邻居的大小可以为每个变量。通过估计协方差或精度矩阵来揭示这种局部依赖结构,同时为每个变量产生变化的邻域大小的相合估计,这是非常有趣的。现有的文献带状协方差阵估计,它假设一个固定的带宽不能适应这种一般的设置。我们对精度矩阵采用修改后的Cholesky分解,并通过适当的邻域大小和Cholesky因子的先验来设计该模型的灵活先验。推导出了Cholesky因子的后验收缩率,该收缩率几乎或完全是极小极大最优的,并且我们的方法得到了所有变量的邻域大小的相合估计.我们的程序的另一个吸引人的特点是它的可扩展性,大量的变量,由于有效的后验推理,而不诉诸MCMC算法的模型。数值比较进行了竞争的方法,并考虑了一些实际数据集的应用。
2021-09-24 math.ST stat.ME stat.TH