Fast Non-Bayesian Poisson Factorization for Implicit-Feedback Recommendations
本文研究了基于正则化泊松模型的非负低秩矩阵分解(PF或Poisson factorization)在隐式反馈数据推荐系统中的应用。泊松似然的特性允许在零值输入上进行非常快速的计算,并且通常会导致用户和项目的非常稀疏的因子。与HPF(一种流行的贝叶斯公式的问题与分层先验)相比,这里提出的基于频率论优化的方法往往会产生更好的前N个建议,拟合时间显着缩短,在稀疏的解决方案之上。
2022-02-23 cs.LG stat.ML
Fast Bayesian Intensity Estimation for the Permanental Process
Cox过程是一个随机过程,它通过让潜在的强度函数本身是一个随机过程来推广泊松过程。在本文中,我们提出了一个快速的贝叶斯推断方案的永久过程,考克斯过程下的强度的平方根是一个高斯过程。特别是,我们利用再生核希尔伯特空间的连接,推导出有效的近似贝叶斯推断算法的基础上的预测分布和边际似然的拉普拉斯近似。我们得到一个简单的算法,我们适用于玩具和现实世界的问题,获得数量级的速度比以前的工作改进。
2018-06-19 stat.ME
Safe Imitation Learning via Fast Bayesian Reward Inference from Preferences
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Applied Research Laboratories, The University of Texas at Austin(德克萨斯大学奥斯汀分校应用研究实验室)
通过演示进行贝叶斯奖励示教学习,可在执行模仿学习时进行严格的安全性和不确定性分析。然而,贝叶斯奖励学习方法对于复杂的控制问题通常是计算上难以处理的。我们提出了贝叶斯奖励外推(贝叶斯REX),一个高效的贝叶斯奖励学习算法,规模高维模仿学习的问题,通过预训练低维特征编码通过自我监督的任务,然后利用偏好的演示,以执行快速贝叶斯推理。Bayesian REX可以从演示中学习玩Atari游戏,而无需访问游戏分数,并且可以在个人笔记本电脑上仅用5分钟就从奖励函数中生成100,000个样本。贝叶斯REX还导致模仿学习性能与仅学习奖励函数的点估计的最新方法竞争或更好。最后,Bayesian REX能够在不访问奖励函数样本的情况下进行高效的高置信度策略评估。这些高置信度性能界限可用于对各种评估策略的性能和风险进行排名,并提供一种检测奖励投机行为的方法。
2020-12-17 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Bayesian Generalized Additive Model Selection Including a Fast Variational Option
本文提出贝叶斯广义加性模型选择方法,利用组 LASSO 先验和辅助变量实现 MCMC 与快速平均场变分推断,并提供 R 包支持大规模数据应用。
2023-09-28 stat.ME
DP-Fast MH: Private, Fast, and Accurate Metropolis-Hastings for Large-Scale Bayesian Inference
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Purdue University(普渡大学)
本文提出首个精确且快速的差分隐私Metropolis-Hastings算法,仅用少量数据批次,并首次揭示隐私、可扩展性与效率间的三方权衡,兼顾隐私保护与推断性能。
2023-10-12 cs.LG stat.ML
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology(国防科技大学);Samsung R&D Institute America - Dallas(三星美国研究院(达拉斯))
利用信号的稀疏性和相关性,可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构,最近提出了一种称为块稀疏贝叶斯学习(BSBL)的框架。从这个框架衍生的算法表现出优越的性能,但他们不是很快,这限制了他们的应用。这项工作得出了一个有效的算法,从这个框架中,使用边缘化的似然最大化方法。与现有的BSBL算法相比,它具有接近的恢复性能,但要快得多。因此,它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Very fast Bayesian Additive Regression Trees on GPU
unifi(乌尼维斯大学);Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)(统计与计算机科学应用系(DISIA))
针对BART运行慢的问题,提出GPU加速实现,速度提升高达200倍,与XGBoost竞争,并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Fast Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据,我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率,这将导致在无限(许多)树上的先验。我们推导出一个精确的,快速的,简单的推理算法,这样的先验,数据证据,预测分布,有效的模型维数,和其他数量。
2004-11-23 cs.LG math.PR math.ST
Gaussbock: Fast parallel-iterative cosmological parameter estimation with Bayesian nonparametrics
我们提出并应用Gaussbock,一个新的并行迭代算法宇宙学参数估计设计的廉价的并行计算资源的时代。Gaussbock使用贝叶斯非参数和截断重要性抽样准确地从后验分布中提取样本,与其他方法相比,壁时间的数量级加速。在这方面的当代问题往往遭受由于高维参数空间和随之而来的过多的时间要求,以及需要微调的建议分布或采样参数的计算成本增加。Gaussbock是专门针对这些问题而设计的。我们探索和验证的性能和收敛性的算法上的快速近似的暗能量调查1年(DES Y1)后,发现合理的缩放行为与参数的数量。然后,我们使用大规模超级计算设施对完整的DES Y1后验进行测试,并恢复与以前的链的合理一致性,尽管该算法可能低估了约束不良参数的尾部。此外,我们讨论和演示高斯博克如何恢复复杂的后验形状很好地在较低的维度,但面临的挑战,在更高的维度上这样的分布表现良好。此外,我们提供了一个用户友好的软件工具,加速宇宙学参数估计的基础上本文所述的方法。
2020-05-16 astro-ph.CO astro-ph.IM stat.CO
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany(以人为中心的人工智能,慕尼黑海德堡研究所)
metabeta是一种快速的神经网络模型,用于贝叶斯混合效应回归,通过预训练时间优化计算,实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
Fast Bayesian Functional Principal Components Analysis
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出FAST方法,通过贝叶斯框架实现函数主成分分析,采用正交样条基底投影、参数扩展方案高效采样及采样过程中特征值排序,提升稳定性与性能。
2025-10-09 stat.ME
Fast Conditional Network Compression Using Bayesian HyperNetworks
Deakin University(迪肯大学);A2I2(应用人工智能研究所)
我们引入了一个条件压缩问题,并提出了一个快速的框架来解决这个问题,问题是如何在给定目标上下文的情况下,快速地将一个预先训练好的大型神经网络压缩成最优的较小网络,例如只涉及类的子集的上下文或只有有限计算资源可用的上下文。为了解决这个问题,我们提出了一个高效的贝叶斯框架,将给定的大型网络压缩成更小的尺寸,以满足每个上下文要求。我们采用一个超网络参数化的后验分布的权重给定的条件输入和最小化这个贝叶斯神经网络的变分目标。为了进一步减小网络的规模,我们提出了一种新的输入输出组稀疏因子分解的权重,以鼓励更稀疏的生成的权重。我们的方法可以快速生成压缩网络,其大小明显小于基线方法。
2022-05-13 cs.LG stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg(弗莱堡大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
贝叶斯优化已经成为机器学习算法(例如支持向量机或深度神经网络)的超参数优化的成功工具。尽管它取得了成功,但对于大型数据集,训练和验证单个配置通常需要数小时、数天甚至数周,这限制了可实现的性能。为了加速超参数优化,我们提出了一个生成模型的验证误差作为训练集大小的函数,这是在优化过程中学习,并允许探索初步配置的小子集,通过外推到完整的数据集。我们构建了一个贝叶斯优化过程,称为Fabolas,它将损失和训练时间建模为数据集大小的函数,并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明,Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Fast Implementation of a Bayesian Unsupervised Segmentation Algorithm
在最近的一篇论文中,我们提出了一种完全基于贝叶斯方法的无监督音频信号分割算法。然而,在其第一次实施中,该方法显示出较差的计算性能。在本文中,我们解决这个问题,通过描述一个快速的并行实现使用Python的Cython库,我们使用开放的GSL方法的标准数学函数,和并行化的OpenMP框架。我们还提供了一个详细的分析,其不同的参数的算法的敏感性,并显示其应用到现实生活中的巴西南海岸的水下信号。我们的代码和数据可以在github上免费获得。
2018-03-13 stat.CO
Fast and accurate Bayesian model criticism and conflict diagnostics using R-INLA
贝叶斯分层模型越来越受欢迎的现实建模和复杂数据的分析。这一趋势伴随着需要灵活的,通用的,计算效率高的方法模型的批评和冲突检测。通常,贝叶斯分层模型包含单个数据点的分组,例如重复测量数据中的个体。在这种情况下,会产生以下问题:是否有任何群体是“离群值”,或与其余群体相冲突?现有的一般方法,旨在回答这些问题往往是非常计算要求时,模型拟合是基于MCMC。我们展示了如何通过集成嵌套拉普拉斯近似(INLA)快速准确地完成组级模型的批评和冲突检测。新方法是作为贝叶斯计算的开源R-INLA包的一部分实现的(http:r-inla.org)。
2017-11-01 math.ST stat.CO stat.ME
Amortized Bayesian Local Interpolation NetworK: Fast covariance parameter estimation for Gaussian Processes
North Carolina State University(北卡罗来纳州立大学);University of Arkansas(阿肯色大学);Amazon Research(亚马逊研究院)
本文提出A-BLINK网络,利用两个预训练深度神经网络快速估计高斯过程协方差参数,绕过矩阵求逆,在频率派和贝叶斯设置中大幅提升计算效率,并在模拟和真实温度数据上验证了低误差优势。
2024-11-10 cs.LG stat.ME stat.ML
Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination
University of Oxford(牛津大学);Toyota Motor Corporation(丰田汽车公司)
提出一种基于核重组的并行化批量贝叶斯求积方法,实现指数收敛速率,在多种真实数据集上显著优于现有BQ和嵌套采样。
2023-01-27 cs.LG cs.NA math.NA
Fast and Locally Adaptive Bayesian Quantile Smoothing using Calibrated Variational Approximations
提出一种贝叶斯分位数趋势滤波方法,利用收缩先验和校准变分近似实现局部自适应的非平稳分位数趋势快速推断,计算效率优于Gibbs采样器且结果稳定。
2023-10-20 stat.ME
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP,即使当信号先验是非高斯或未知时,也执行稀疏信号的贝叶斯估计。它是不可知的信号统计,并利用先验统计的加性噪声和稀疏率的信号,这是很容易估计的数据,如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量,找到最主要的稀疏支持,以确定近似的最小均方误差(MMSE)估计的稀疏信号。仿真结果表明,我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Fast Estimation of Bayesian State Space Models Using Amortized Simulation-Based Inference
本文提出了一种估计贝叶斯状态空间模型隐状态的快速算法。该算法是基于摊销模拟的推理算法的变体,其中在第一阶段生成大量人工数据集,然后训练灵活的模型来预测感兴趣的变量。与前面提出的方法相比,本文所描述的方法可以通过只集中在边缘后验分布的某些特性上并引入归纳偏差来训练隐藏状态的估计量。以随机波动率模型、非线性动态随机一般均衡模型和具有季节性突变的季节调整过程为例,说明该算法具有足够的精度,可用于实际应用。此外,经过几个小时的预训练后,找到任何数据集的后验分布需要百分之一到十分之一秒。
2022-10-13 econ.EM stat.ML
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley(加州大学伯克利分校)
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间,因此使用了各种近似方法。吉布斯抽样是最准确的方法之一,并提供无偏样本的后验,但它历来是太昂贵的大型模型。在本文中,我们提出了一个优化的,并行吉布斯采样增强状态复制(或状态增强边际估计),以减少收敛时间。我们发现,改进的参数估计的质量,同时加速收敛。合成和真实数据的实验表明,我们的吉布斯采样器是大大快于最先进的采样器,JAGS,而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器,以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
A fast, flexible simulation framework for Bayesian adaptive designs -- the R package BATSS
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计学单位);School of Public Health and Preventive Medicine, Monash University(莫纳什大学公共卫生与预防医学院);Faculty of Informatics and Data Science, University of Regensburg(雷根斯堡大学信息科学与数据科学学院)
本文提出R包BATSS,用于快速模拟贝叶斯自适应设计,支持多种主要结果类型及常见自适应机制,提供灵活的模块化结构。
2026-07-01 stat.CO stat.ME
Building fast Bayesian computing machines out of intentionally stochastic, digital parts
MIT(麻省理工学院)
大脑使用比逻辑门更慢、更不可靠的神经元,比现代计算机更快、更可靠地解释模糊的感官信息。但是,贝叶斯推理是感知和认知的许多计算模型的基础,即使考虑到现代晶体管的速度和能量预算,它在计算上也具有挑战性。缩小这一差距所需的计算原理和结构是未知的。在这里,我们将展示如何使用有意随机的数字部件来构建快速的贝叶斯计算机器,从而将这种效率差距缩小多个数量级。我们发现,通过连接随机数字组件根据简单的数学规则,可以建立大规模并行,低精度的电路,解决贝叶斯推理问题,并与皮质神经元的泊松放电统计兼容。我们评估电路的深度和运动感知、感知学习和因果推理,每个电路都能实时的对10,000多个潜在变量进行推理-比商品微处理器的速度快1,000倍。这些结果表明,在智能计算的工程和逆向工程的随机性的一个新的角色。
2014-02-20 cs.AI cs.AR stat.CO
Fast unsupervised Bayesian image segmentation with adaptive spatial regularisation
University of Bristol(布里斯托大学);Heriot Watt University(赫瑞瓦特大学)
本文提出了一种新的贝叶斯估计技术,隐藏的Potts-Markov随机场与未知的正则化参数,应用于快速无监督的K类图像分割。该技术是通过首先去除正则化参数从贝叶斯模型的边缘化,然后由小方差渐近(SVA)分析,其中的空间正则化和整数约束的波茨模型的条款解耦。这个SVA贝叶斯估计的评估,然后放松到一个问题,可以有效地计算通过迭代求解凸全变差去噪问题和最小二乘聚类(K-均值)问题,这两个问题都可以直接解决,即使在高维度,并与并行计算技术。这导致了一种快速的完全无监督贝叶斯图像分割方法,其中空间正则化的强度在推理过程中自动适应于观察到的图像,并且可以很容易地应用于大型2D和3D场景或需要低计算时间的应用中。在真实图像上的实验结果,以及与最先进算法的广泛比较,证实了所提出的方法提供了非常快的收敛速度,并产生准确的分割结果,具有自调整正则化参数的重要附加优势。
2016-02-02 cs.CV stat.CO
Fast Bayesian inference of Block Nearest Neighbor Gaussian process for large data
本文提出了一个空间块最近邻高斯过程(块NNGP)的位置参考的大空间数据的发展。这种方法背后的关键思想是将空间域划分为几个块,这些块在某些约束下相互依赖。交叉块捕获大尺度空间依赖性,而每个块捕获小尺度空间依赖性。所得到的块NNGP享有反映在其稀疏精度矩阵上的马尔可夫性。它被嵌入作为潜在高斯模型类内的先验,从而使用集成嵌套拉普拉斯近似(INLA)获得贝叶斯推断。块NNGP的性能示出在模拟的例子和大量的真实数据的位置的顺序为$10^4$。
2021-02-05 stat.ME
Bayesian Nonlinear Support Vector Machines for Big Data
Humboldt University of Berlin(柏林洪堡大学);G+J Digital Products Hamburg(汉堡G+J数字产品公司)
我们提出了一种快速推理方法贝叶斯非线性支持向量机,利用随机变分推断和诱导点。我们的实验表明,该方法比竞争贝叶斯方法更快,并且可以轻松扩展到数百万个数据点。它提供了比频率论竞争对手更多的功能,例如准确的预测不确定性估计和自动超参数搜索。
2017-07-18 cs.LG stat.ML
Fast and Order-invariant Inference in Bayesian VARs with Non-Parametric Shocks
本文针对VAR模型中冲击的非高斯性,提出基于狄利克雷过程混合的加性误差结构,实现大型VAR中计算快速且顺序不变的贝叶斯非参数推断,并在金融危机和疫情期间展现出显著优势。
2023-05-26 econ.EM stat.ME
Bayesian Optimization Sequential Surrogate (BOSS) Algorithm: Fast Bayesian Inference for a Broad Class of Bayesian Hierarchical Models
本文提出BOSS算法,结合贝叶斯优化与近似贝叶斯推断,大幅减少拟合条件潜在高斯模型的计算开销,并通过模拟及多领域实际应用验证其高效性与准确性。
2024-03-18 stat.AP stat.CO stat.ME
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University(达尔豪斯大学);University of Science(理大学);Vietnam National University(越南国立大学);AISIA Research Lab(AISIA研究实验室);University of Delaware(特拉华大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了一般情形下广义Bayes估计的学习率,其中假设类可以是不可数的且形状不规则,损失函数可以有重尾,最优假设可能不唯一.证明了在多尺度Bernstein条件下,广义后验分布集中在最优假设集附近,广义Bayes估计具有较快的学习速度.我们的结果表明,标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Fast Bayesian inference in large Gaussian graphical models
尽管主要的方法的发展,贝叶斯推断高斯图形模型仍然具有挑战性的高维由于巨大的规模的模型空间。本文提出了一种通过假设的多重检验来推断变量间的边际和条件独立结构的方法。具体而言,我们在高斯共轭模型下引入封闭形式的贝叶斯因子来评估变量之间的边际和条件独立性的零假设。它们对所有变量对的计算都非常有效,从而使我们能够解决具有数千个节点的大型问题。此外,我们从贝叶斯因子的零分布中推导出精确的尾概率。这些允许使用任何多重性校正程序来控制错误边缘包含的错误率。我们证明了所提出的方法,图形模型选择各种模拟的例子,以及从癌症基因组图谱的大型基因表达数据集。
2018-04-06 stat.ME
Fast Bayesian Estimation of Spatial Count Data Models
Imperial College London(帝国理工学院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
空间计数数据模型被用来解释和预测现象的频率,如交通事故在地理上不同的实体,如人口普查区或路段。这些模型通常使用贝叶斯马尔可夫链蒙特卡罗(MCMC)模拟方法来估计,然而,该方法在计算上昂贵并且不能很好地扩展到大数据集。变分贝叶斯(VB)是一种来自机器学习的方法,它通过将贝叶斯估计视为优化问题而不是模拟问题来解决MCMC的缺点。考虑到VB的这些优点,本文提出了一种用于参数异质性和空间依赖性的负二项模型后验推断的VB方法。Pólya-Gamma增广用于处理负二项似然的非共轭性,并采用变分分布的集成非因式分解规范来捕获后验依赖性。在蒙特卡罗研究和经验应用估计青年行人伤害计数在纽约市的人口普查区所提出的方法的好处。在模拟和实证研究中,VB方法比常规八核处理器上的MCMC快45到50倍,同时提供类似的估计和预测精度。有条件的计算资源的可用性,所提出的VB方法的并行架构可以被利用,以进一步加速其估计高达20倍。
2020-10-16 cs.LG stat.ME stat.ML
Bayesian optimisation for fast approximate inference in state-space models with intractable likelihoods
本文研究了具有难处理似然的非线性状态空间模型的近似贝叶斯参数推断问题。具有近似贝叶斯计算的序贯蒙特卡罗(SMC-ABC)是一种用于近似这种类型的模型中的可能性的方法。然而,这种近似可能是有噪声的并且计算成本高,这阻碍了使用基于优化和蒙特卡罗方法的标准方法的有效实现。我们提出了一种计算效率高的新方法的基础上结合高斯过程优化和SMC-ABC创建一个拉普拉斯近似的棘手后。我们将所提出的算法用于随机波动率模型的推理,同时使用合成数据和真实数据,以及使用Copula模型估计两个投资组合的风险价值。我们的文件之间的一个和两个数量级的速度相比,国家的最先进的后验推理算法。
2017-06-13 q-fin.RM stat.CO stat.ML
The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
发现感兴趣的反应的相互作用效应是生物学、医学、经济学和许多其他科学学科面临的基本问题。在理论上,贝叶斯方法发现成对相互作用享有许多好处,如一致的不确定性量化,结合背景知识的能力,和理想的收缩性能。然而,在实践中,贝叶斯方法往往是计算上棘手的,即使是中等规模的问题。我们的关键见解是,许多具有实际意义的分层模型都承认特定的高斯过程(GP)表示; GP允许我们用O(p)核超参数向量而不是O(p^2)相互作用和主效应来捕获后验。通过隐式表示,我们可以在模型超参数上运行马尔可夫链蒙特卡罗(MCMC),每次迭代在p中记忆线性。我们专注于稀疏诱导模型和数据集上的各种协变量的行为,我们的方法:(1)减少运行时间的数量级MCMC的天真的应用程序,(2)提供较低的类型I和第二类错误相对于国家的最先进的基于LASSO的方法,(3)提供了改进的计算缩放在高维相对于现有的贝叶斯和基于LASSO的方法。
2022-11-13 cs.LG stat.CO stat.ME
Unity Smoothing for Handling Inconsistent Evidence in Bayesian Networks and Unity Propagation for Faster Inference
Aalborg University(奥尔堡大学);University of Copenhagen(哥本哈根大学)
我们提出统一平滑(US)处理贝叶斯网络模型和新的看不见的观察之间的不一致。我们表明,预测精度,使用连接树算法与美国是拉普拉斯平滑。此外,在利用数据结构的稀疏性的应用中,US在存储器使用方面优于拉普拉斯平滑。此外,我们详细介绍了如何避免冗余的计算,否则必须执行的消息传递计划中的连接树算法,我们称之为统一传播(UP)。实验结果表明,它总是更快地利用UP上的Lauritzen-Spigelhalter消息传递计划的联合树算法。
2022-01-21 cs.LG stat.CO
Experimenting, Fast and Slow: Bayesian Optimization of Long-term Outcomes with Online Experiments
Meta
针对在线A/B测试中长期实验耗时过长的问题,提出结合快速实验或离线代理与慢速实验的方法,在短时间内对大型动作空间执行顺序贝叶斯优化。
2025-06-30 cs.LG stat.ML
A fast non-reversible sampler for Bayesian mixture models
Duke University(杜克大学);University of Padua(帕多瓦大学);Bocconi University(博科尼大学)
针对贝叶斯有限混合模型后验采样收敛慢的问题,提出一种新型不可逆采样方案,理论证明其渐近方差性能不劣于标准方法四倍,可将大样本下收敛时间从O(n²)降至O(n),在多场景下性能显著优于经典采样器。
2026-10-05 stat.CO stat.ME stat.ML
Fast sampling and model selection for Bayesian mixture models
Center for the Study of Complex Systems, University of Michigan(密歇根大学复杂系统研究中心)
我们研究贝叶斯估计的混合模型,并认为有利于拟合的边缘后验分布组件分配直接,而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢,但我们证明,如果正确实现,它可以实现出色的性能。特别是,我们描述了一种新的蒙特卡罗算法,从边缘后采样的一般可积混合,利用拒绝免费抽样从以前的组件分配,以实现优良的混合时间在典型的应用程序中,优于标准的吉布斯抽样,在某些情况下,由一个很宽的利润率。我们展示了高斯,泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
GIGA-Lens: Fast Bayesian Inference for Strong Gravitational Lens Modeling
我们介绍GIGA镜头:一个基于梯度信息的GPU加速贝叶斯框架,用于对强引力透镜系统进行建模,在TensorFlow和JAX中实现。这三个组件,使用多开始梯度下降的优化,变分推理的后验协方差估计,以及通过Hamiltonian Monte Carlo进行采样,都通过自动微分和图形处理单元(GPU)上的大规模并行化利用梯度信息。我们在一个大型的模拟系统上测试了我们的流水线,并详细展示了其高水平的性能。在四个Nvidia A100 GPU上对单个系统建模的平均时间为105秒。该框架所提供的鲁棒性、速度和可扩展性使得对当前调查中发现的大量强透镜进行建模成为可能,并为有望在Vera C时代发现的$\mathcal{O}(10^5)$透镜系统建模提供了非常有前途的前景。鲁宾天文台,欧几里得和南希格雷斯罗马太空望远镜。
2022-02-15 astro-ph.CO astro-ph.IM stat.AP
Fast Bayesian inference in a class of sparse linear mixed effects models
针对带随机效应贝叶斯变量选择的稀疏线性混合效应模型,提出结合尖峰-板条先验与奥卡姆窗口近似的变分贝叶斯EM推断算法,可扩展到偏t误差模型,经模拟验证后用于精英运动员表现纵向数据分析。
2024-08-14 stat.CO stat.ME
Fast $ε$-free Inference of Simulation Models with Bayesian Conditional Density Estimation
University of Edinburgh(爱丁堡大学)
许多统计模型可以向前模拟,但具有难以处理的可能性。近似贝叶斯计算(ABC)的方法来推断这些模型的属性从数据。传统上,这些方法通过在观测数据周围的$ε$球内调节数据来近似后验参数,这仅在极限$ε\!\rightarrow\!0$中是正确的。然后,蒙特卡罗方法可以从近似后验中抽取样本,以近似预测或参数的误差条。这些算法作为$ε\!\rightarrow\!0$严重减慢,并且在实践中从比后验更广泛的分布中抽取样本。提出了一种基于贝叶斯条件密度估计的无似然推理方法。基于有限的仿真数据的初步推断用于指导以后的仿真。在某些情况下,学习整个真实后验分布的准确参数表示需要比蒙特卡罗ABC方法从近似后验产生单个样本所需的模型模拟更少。
2018-04-02 cs.LG stat.CO stat.ML
Bayesian Properties of Normalized Maximum Likelihood and its Fast Computation
Yale University(耶鲁大学);University Helsinki(赫尔辛基大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
归一化最大似然(NML)在通用的数据压缩、赌博和预测中提供了极大极小遗憾解,在统计建模和估计的最小描述长度(MDL)方法中起着至关重要的作用。在这里,我们表明,归一化的最大似然有一个类似贝叶斯表示的组件模型的混合物,即使在有限的样本,虽然线性组合的权重可能是积极的和消极的。这种表示部分地解决了MDL和贝叶斯建模之间的关系。该表示具有加速编码和预测应用所需的边缘和条件的计算的优点。
2014-01-28 cs.IT cs.LG math.IT
Fast algorithms of Bayesian Segmentation of Images
提出了灰度图像和彩色图像贝叶斯分割的网络流优化方法。假设图像像素由取有限个任意有理值(可以是图像的强度值或其他特征)的特征函数来表征。同质像素的聚类由具有另一组有理数中的值的标签来描述。假设它们是相关的,并根据指数或高斯吉布斯定律分布。代替传统上使用的最近像素的局部邻域,所有像素的依赖性的完全连通图被用于吉布斯先验分布。开发的方法减少分割的问题的最小网络切割的确定的问题。
2002-06-19 math.OC math.ST stat.TH
Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
贝叶斯核心集通过构建数据点的小加权子集来近似后验分布。任何在计算上过于昂贵而不能在完整后验上运行的推理过程都可以在核心集上廉价地运行,其结果近似于完整数据上的结果。然而,目前的方法是有限的,无论是一个显着的运行时间或需要用户指定一个低成本的近似完整的后验。我们提出了一个贝叶斯核心集的构造算法,首先选择一个均匀随机的数据子集,然后使用一种新的拟牛顿法优化的权重。我们的算法是一个简单的实现,黑盒方法,不需要用户指定一个低成本的后验近似。这是第一个来与一般的高概率界的库尔贝克-莱布勒散度的输出coreset后。实验表明,我们的方法提供了显着的改善coreset质量与可比的建设时间的替代品,存储成本和用户输入所需的少得多。
2023-01-15 cs.LG stat.CO stat.ML
Fast Gibbs sampling for the local and global trend Bayesian exponential smoothing model
针对局部与全局趋势贝叶斯指数平滑模型依赖 NUTS 导致拟合过慢的问题,本文改进模型并提出定制 Gibbs 采样器,在 M3 上保持或提升精度且速度显著加快。
2024-06-29 cs.LG stat.CO stat.ML
bayesNMF: Fast Bayesian Poisson NMF with Automatically Learned Rank Applied to Mutational Signatures
Harvard University(哈佛大学);Vanderbilt University(范德堡大学);Dana Farber Cancer Institute(达纳-法伯癌症研究所)
本文提出bayesNMF,通过Metropolis-Hastings嵌套Gibbs采样解决传统泊松NMF在计算效率和秩学习不确定性上的不足,适用于癌症突变签名分析。
2026-03-28 stat.ME
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型(GAM)是一种成熟的统计工具,用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中,P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间,通过考虑一个确定性的基于网格的策略或马尔可夫链采样器,根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量,这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算,即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验,建议的方法具有良好的统计特性。通过不同的模拟场景,拉普拉斯P样条模型的性能得到证实,并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
Fast Bayesian Deconvolution using Simple Reversible Jump Moves
我们提出了一种基于马尔可夫链蒙特卡罗的反卷积方法,旨在估计光谱数据中的峰数,以及每个径向基函数的最佳参数。假设的情况下,峰的数量是未知的,扫描模拟所有候选模型是计算上不现实的,所提出的方法有效地搜索可能的候选人通过跨维移动辅助退火效应从副本交换蒙特卡罗移动。通过模拟使用合成数据,所提出的方法证明了其优于传统的扫描模拟,特别是在模型选择问题。应用一组橄榄石反射光谱数据与不同的镁橄榄石和铁橄榄石的混合比例再现从以前的矿物学研究中获得的结果,表明我们的方法是适用于反褶积的真实数据集。
2020-11-26 physics.data-an stat.ME
A canonical polyadic tensor basis for fast Bayesian estimation of multi-subject fMRI activation patterns
本研究提出一种基于CP张量分解的快速贝叶斯标量函数模型,通过张量基降维实现群体fMRI激活图的快速MCMC估计,应用于HCP数据集100名被试后揭示了工作记忆相关的脑特征。
2024-05-20 stat.AP stat.CO
Fast Bayesian whole-brain fMRI analysis with spatial 3D priors
任务相关功能磁共振成像(fMRI)的空间全脑贝叶斯建模是一个巨大的计算挑战。因此,目前提出的大多数方法分别在大脑的子区域中进行推断,或者在不与真实的后验分布进行比较的情况下进行近似推断。Penny等人(2005 b)介绍了一种流行的方法,现在是SPM软件中贝叶斯单受试者分析的标准方法。该方法处理的数据切片的切片,并使用近似变分贝叶斯(VB)估计算法,强制后验独立的活动系数在不同的体素之间。我们引入了一个快速和实用的马尔可夫链蒙特卡罗(MCMC)计划在同一模型中的精确推理,无论是切片和整个大脑使用的3D活动系数的先验。该算法利用稀疏性,并使用现代技术从高维高斯分布中进行有效采样,从而加快速度,否则MCMC将不是一个实用的选择。使用MCMC,我们是第一次能够评估近似VB后对确切的MCMC后,并表明,VB可以导致虚假激活。此外,我们开发了一种改进的VB方法,放弃了独立体素的假设后验。对于大型数据集,该算法比MCMC和原始VB快得多,与MCMC后验相比误差可以忽略不计。
2016-09-29 stat.AP stat.CO stat.ME
A class of fast exact Bayesian filters in dynamical models with jumps
本文主要研究带跳动力学模型中的统计滤波问题。当一个特定的应用依赖于由线性和高斯跳跃概率密度函数建模的物理特性时,通常的方法是在线性和高斯跳跃马尔可夫状态空间系统(JMSS)中近似最优贝叶斯估计(在最小均方误差(MMSE)的意义下)。实际的解决方案包括基于数值近似或基于序贯蒙特卡罗(SMC)方法的算法。在本文中,我们提出了一类替代方法,包括在建设统计模型,共享相同的物理特性的利益,但在其中的最佳MMSE估计的计算可以在一个计算成本是线性的观察。
2013-10-01 stat.CO
Fast Bayesian Record Linkage With Record-Specific Disagreement Parameters
研究人员通常对将两个缺乏共同唯一标识符的数据集之间的个体联系起来感兴趣。匹配过程通常很难将记录与常见的姓名、出生地或其他字段值进行匹配。计算可行性也是一个挑战,特别是在连接大型数据集时。我们开发了一种贝叶斯方法自动概率记录链接,并表明它恢复了超过50%的真实匹配,保持准确性不变,比可比的方法在军事招募数据匹配到1900年美国人口普查的专家标记的匹配。我们的方法建立在最近最先进的贝叶斯方法的基础上,改进了比较数据的建模,允许以非匹配状态为条件的不一致概率参数在两个数据集中的较小数据集中是特定于记录的。当许多记录共享公共字段值时,这种灵活性显著提高了匹配。我们表明,我们的方法是计算上可行的,在实践中,尽管增加了复杂性,与R/C++实现,实现了显着的速度比最近的方法。我们还提出了一个轻量级的方法治疗非常常见的名字,并显示如何估计真阳性率和阳性预测值时,真正的匹配状态不可用。
2021-03-19 econ.EM stat.AP stat.ME
Fast approximate Bayesian inference for stable differential equation models
由于模型参数之间的非线性相互作用和缺乏可识别性,机械模型的推理是具有挑战性的。在这里,我们专注于一类特定的机械模型,我们长期稳定的微分方程。在这些模型中的动态近似线性系统的一个稳定的固定点。我们利用这一属性开发快速近似方法后验推理。我们说明了我们的方法使用模拟数据的机制神经科学模型与EEG数据。更一般地说,稳定的微分方程模型和相应的推理方法是有用的平稳时间序列数据的分析。与现有技术相比,我们的方法快了几个数量级,特别适合于分析长时间序列(> 10,000个时间点)和中等维度(10-50个状态变量和10-50个参数)的模型。
2017-12-12 stat.CO