Nonparametric Bayesian Aggregation for Massive Data
我们开发了一套可扩展的贝叶斯推理程序的一般类的非参数回归模型。具体地说,非参数贝叶斯推理分别对每个子集随机分裂的海量数据集,然后获得的局部结果聚合成全球同行。这个聚合步骤是显式的,不涉及任何额外的计算成本。通过仔细的分区,我们表明,我们的聚合推理结果获得的Oracle规则的意义上说,他们是等同于那些直接从整个数据(这是计算禁止)。例如,一个聚合的可信球达到了期望的可信度水平,也频率覆盖,同时拥有相同的半径的预言球。
2019-09-04 math.ST stat.TH
Bayesian computing with INLA: new features
INLA方法的近似贝叶斯推断的潜在高斯模型已被证明是一个有价值的工具,在实践中,通过R-包R-INLA的后验边缘的快速和准确的估计。在本文中,我们正式的R-INLA包的新发展,并显示这些功能如何大大扩展了模型的范围,可以通过这个接口进行分析。我们还讨论了目前的默认方法在R-INLA近似后边缘的超参数,只使用一个适度数量的联合后验分布的超参数的评估,而不需要任何数值积分。
2013-02-20 stat.CO
Thresholded Multiscale Gaussian Processes with Application to Bayesian Feature Selection for Massive Neuroimaging Data
出于对海量神经影像数据选择重要特征的需要,我们提出了一种在系数函数上施加稀疏性和分段光滑性的空间变系数模型(SVCMs)。基于阈值多分辨率高斯过程(TMGP),提出了一类新的非参数先验。我们表明,TMGP有一个大的支持空间的稀疏和分段光滑的功能,导致后验一致性系数函数估计和特征选择。此外,我们开发了一种方法,在TMGP阈值参数的先验规范,并讨论其理论性质。有效的后验计算算法的开发,通过采用核卷积的方法,其中一个修改的平方指数核选择的优点,本征分解的解析形式是可用的。基于仿真研究,我们证明了我们的方法可以实现更好的性能,在估计空间变化的系数。此外,所提出的模型已被应用于分析的静息状态功能磁共振成像(Rs-fMRI)数据从自闭症脑成像数据交换(ABIDE)的研究,它提供了生物学意义的结果。
2015-04-29 stat.AP stat.ME
Sparse Bayesian Partially Identified Models for Sequence Count Data
Pennsylvania State University(宾夕法尼亚州立大学)
本文提出稀疏贝叶斯部分识别模型,用于处理序列计数数据中的稀疏性假设不确定性,从而减少差分分析中的I型和II型错误率。
2025-12-12 stat.ME
A Divide-and-Conquer Bayesian Approach to Large-Scale Kriging
我们提出了一个三步分而治之的战略贝叶斯范式,提供了巨大的可扩展性,任何空间过程模型。我们将数据划分为大量的子集,应用一个现成的贝叶斯空间过程模型的每个子集,在并行,并优化组合的后验分布估计在所有的子集到一个伪后验分布的条件下,对整个数据。组合的伪后验分布代替全数据后验分布,用于预测任意位置处的响应以及用于对模型参数和空间表面的推断。基于分布式贝叶斯推断,我们的方法被称为“分布式克里格法”(DISK),并提供了巨大的优势,在海量数据的应用程序中,完整的数据存储在多台机器上。我们从理论上证明了贝叶斯$L_2$ -风险的DISK后验分布实现了接近最优的收敛速度,估计真实的空间表面与各种类型的协方差函数,并提供上限的子集的数量作为一个完整的样本量的函数。DISK的无模型特性通过在具有平稳满秩和非平稳低秩高斯过程(GP)先验的空间过程模型中的尺度后验计算来证明。各种模拟和太平洋海表温度数据的地质统计学分析验证了我们的理论结果。
2019-06-12 stat.ME
Surrogate-based Bayesian calibration methods for chaotic systems: a comparison of traditional and non-traditional approaches
Sandia National Laboratories(桑迪亚国家实验室);University of Michigan(密歇根大学)
本文比较了传统与非传统方法在混沌系统中的贝叶斯校准效果,发现GBOED在有限计算资源下表现优异,而标准BOED效果欠佳。
2026-01-19 stat.ME
Massive parallelization boosts big Bayesian multidimensional scaling
大贝叶斯是大数据和大型贝叶斯模型的计算密集型联合应用,用于分析科学推理和统计学习中的复杂现象。例如,贝叶斯多维尺度(MDS)可以帮助科学家了解病毒在时空中的轨迹,但其计算负担阻碍了其更广泛的使用。关键的MDS模型计算在观测数量上按二次方缩放。我们通过使用多核中央处理单元、并行级矢量化和图形处理单元(GPU)的大规模并行化来部分缓解这一限制。使用哈密顿蒙特卡罗拟合MDS模型,GPU可以在串行计算上提供超过100倍的加速,从而将贝叶斯MDS扩展到大数据设置。为了说明,我们采用贝叶斯MDS来推断不同季节性流感病毒亚型利用全球空中交通在全球传播的速度。我们研究了5392个病毒序列及其相关的1400万对距离,这些距离来自病毒采样地点之间每年商业航空公司座位的数量。为了调整病毒的共享进化历史,我们对MDS模型进行了系统发育扩展,并了解到H3N2亚型传播最有效,与其相对于其他季节性流感亚型的流行成功相一致。最后,我们提供了MassiveMDS,一个开源的,独立的C++库和基本的R包,并讨论了程序设计和高层次的实现,重点是在规模相关的计算架构的重要方面。
2019-12-11 stat.CO
Dynamic quantile linear models: a Bayesian approach
提出了一类新的模型--动态分位数线性模型。它结合了动态线性模型和无分布分位数回归,产生了一种稳健的统计方法。动态分位数线性模型的贝叶斯推断可以使用有效的马尔可夫链蒙特卡罗算法来执行。本文还提出了一种适用于高维预测建模应用的快速顺序过程,该过程本身随时间变化。所提出的模型进行评估,使用合成和众所周知的时间序列数据。该模型还被应用于预测结核病在里约热内卢州的年发病率为未来几年,并与世界卫生组织制定的全球战略目标进行比较。
2018-02-18 stat.ME
Modeling Massive Spatial Datasets Using a Conjugate Bayesian Linear Regression Framework
UCLA(加州大学洛杉矶分校)
地理信息系统(GIS)和相关技术引起了统计人员对分析大型空间数据集的可扩展方法的极大兴趣。已经提出了各种可扩展的空间过程模型,可以很容易地嵌入到一个分层的建模框架,进行贝叶斯推断。虽然统计研究的重点主要是针对创新和更复杂的模型开发,相对有限的注意力已被给予的做法,易于实施的可扩展的层次模型的实践科学家或空间分析师。本文讨论了如何将点参考空间过程模型转换为共轭贝叶斯线性回归,以快速提供空间过程的推断。该方法允许直接从回归参数、潜在过程和预测随机变量的联合后验分布中进行精确采样(避免了马尔可夫链蒙特卡罗等迭代算法),并可在R.
2021-09-09 cs.LG stat.ML
Empirical Bayes inference for the block maxima method
块极大值法是极值分布吸引域中独立同分布观测值极值分析的一种常用方法。在这种情况下,贝叶斯推断缺乏严格的研究,限制了其用于极端情况的统计分析。在本文中,我们提出了一个经验贝叶斯程序推断的块极大值法及其相关的数量。我们表明,数据分布和收益水平(代表未来的极端事件)的尾部指数的后验分布满足一些重要的理论性质。这些保证了后验推理的可靠性,并扩展到后验预测分布,贝叶斯概率预测的关键工具。通过一个有效的自适应Metropolis-Hasting型算法很容易获得后验计算。仿真结果表明,它具有良好的推理性能已经与适度的样本量。我们的建议的效用是展示分析在大西洋盆地飓风产生的极端风。
2022-04-11 stat.ME
A fully Bayesian strategy for high-dimensional hierarchical modeling using massively parallel computing
马尔可夫链蒙特卡罗(MCMC)是贝叶斯参数估计的主要工具。当模型由于层次数量、特定级别的组数量或每组中的观测数量的增加而扩展时,通过MCMC进行的完全贝叶斯分析很容易变得计算量大,甚至难以处理。我们说明了如何在MCMC分层模型的步骤主要是两种类型之一:条件独立的绘制或低维绘制的基础上汇总统计的参数在更高级别的层次结构。并行计算可以通过对条件独立绘制执行并行计算并使用并行归约计算汇总统计量来提高效率。在MCMC算法中,我们记录运行均值和参数平方均值,以进行收敛性诊断和后验推理,同时避免代价高昂的内存传输瓶颈。我们证明了该算法的有效性的模型激励下一代测序数据,我们发布我们的实现R包fbseq和fbseqCUDA。
2016-06-21 stat.CO
Bayesian Multiresolution Modeling Of Georeferenced Data
当前的多分辨率方法的实现在可能的响应类型和推理方法方面受到限制。我们提供了一个多分辨率的非高斯响应的空间分析方法,使用潜在的高斯模型和贝叶斯推断,通过集成嵌套拉普拉斯近似(INLA)。该方法建立在“LatticeKrig”的基础上,但使用了直观和可解释的模型参数的重新参数化,以便建模和事先选择可以由有关依赖性作用的不同空间尺度的专家知识指导。先验可用于使推断稳健,并且模型参数上的积分允许更准确的不确定性的后验估计。将扩展的LatticeKrig(ELK)模型与LatticeKrig(LK)的标准实现和标准Matérn模型进行比较,我们发现ELK模型在空间过平滑和预测方面有适度的改进,用于2014年肯尼亚人口健康调查中收集的肯尼亚妇女完成中等教育的数量。通过模拟研究与高斯响应和现实的混合短和长尺度的依赖关系,我们证明了这三种预测方法之间的差异随着距离最近的观察。
2020-05-26 stat.CO stat.ME
Comment on "Bayesian Nonparametric Inference - Why and How" by Mueller and Mitra
由于其极大的灵活性,非参数贝叶斯方法已被证明是一个有价值的工具,发现数据中的复杂模式。术语“非参数贝叶斯”表明,这些方法继承了经典非参数方法的无模型操作特性,以及贝叶斯程序提供的一致不确定性评估。然而,正如作者在文章的结论中所说,非参数贝叶斯方法可能更适合描述为“大规模参数”。此外,我认为,许多默认的非参数贝叶斯程序只是贝叶斯在最弱意义上的术语,不能假设提供诚实的评估不确定性仅仅因为他们携带贝叶斯标签。无论这些程序多么有用,我们都应该谨慎地宣传默认的非参数贝叶斯程序,因为它们要么是“无假设”的,要么是对我们的不确定性的描述。如果我们希望我们的非参数贝叶斯过程具有贝叶斯解释,我们应该修改默认的NP贝叶斯方法以适应真实的先验信息,或者至少仔细评估超参数对感兴趣的后验量的影响。
2013-04-12 stat.ME
Fast Bayesian inference of Block Nearest Neighbor Gaussian process for large data
本文提出了一个空间块最近邻高斯过程(块NNGP)的位置参考的大空间数据的发展。这种方法背后的关键思想是将空间域划分为几个块,这些块在某些约束下相互依赖。交叉块捕获大尺度空间依赖性,而每个块捕获小尺度空间依赖性。所得到的块NNGP享有反映在其稀疏精度矩阵上的马尔可夫性。它被嵌入作为潜在高斯模型类内的先验,从而使用集成嵌套拉普拉斯近似(INLA)获得贝叶斯推断。块NNGP的性能示出在模拟的例子和大量的真实数据的位置的顺序为$10^4$。
2021-02-05 stat.ME
On Pruning for Score-Based Bayesian Network Structure Learning
Eindhoven University of Technology(埃因霍温理工大学);University of York(约克大学)
基于分数的贝叶斯网络结构学习(BNSL)的许多算法,特别是精确算法,将数据中每个变量的潜在最优父集集合作为输入。单纯地构造这样的集合是计算密集型的,因为父集合的数量随着变量的数量呈指数增长。因此,修剪技术不仅是可取的,但必不可少的。虽然贝叶斯信息准则(BIC)存在良好的修剪规则,但贝叶斯狄利克雷等效均匀(BDeu)得分的当前结果非常适度地减少了搜索空间,阻碍了(通常首选的)BDeu的使用。我们推导出新的非平凡的理论上界的BDeu分数,大大提高了国家的最先进的。由于新的界限在数学上被证明是比以前的更紧,在一点额外的计算成本,他们是一个很有前途的除了BNSL方法。
2020-08-02 cs.LG stat.ML
A portfolio approach to massively parallel Bayesian optimization
提出一种原生支持大规模批处理的可扩展贝叶斯优化策略,基于探索/利用权衡和投资组合分配,在含噪声的单/多目标优化任务中实现性能相似或更优且速度提升数个数量级。
2023-04-03 math.OC stat.ML
Comparing Misspecified Models with Big Data: A Variational Bayesian Perspective
本文从变分贝叶斯视角研究大数据下误设定模型的比较问题,基于KL散度期望定义风险函数并提出两个新的信息准则,证明其渐近无偏性,并通过数值模拟与经济学、金融学实证验证了准则的有效性。
2025-07-01 econ.EM stat.ME
Posterior contraction in sparse Bayesian factor models for massive covariance matrices
稀疏贝叶斯因子模型通常用于高维应用中的简约依赖建模和降维。我们提供了理论上的理解,这样的贝叶斯过程中推断高维协方差阵的维数可以大于样本量的后验收敛速度。在真实协方差阵的相关稀疏性假设下,我们证明了常用的点质量混合先验的因子载荷导致一致的估计算子范数,即使当$p\gg n$。我们的主要贡献之一是开发了一类新的连续收缩先验,并提供了对稀疏向量周围浓度的见解。使用这样的先验的因子载荷,我们得到类似的收敛速率获得点质量混合先验。为了获得收敛速度,我们构造检验函数,使用随机矩阵理论的见解分离高维协方差阵空间中的点;开发的工具可能是独立的兴趣。我们还推导出极大极小率,并表明贝叶斯后验收敛率与极大极小率一致,直到$\sqrt{\log n}$项。
2014-06-02 math.ST stat.TH
BOCK : Bayesian Optimization with Cylindrical Kernels
University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research(加拿大高等研究院)
贝叶斯优化的一个主要挑战是边界问题(Swersky,2017),其中算法在其搜索空间的边界附近花费太多的评估。在本文中,我们提出了BOCK,贝叶斯优化与圆柱核,其基本思想是转换球的几何形状的搜索空间使用圆柱变换。由于变换的几何形状,基于高斯过程的代理模型在边界附近花费较少的预算搜索,同时将其努力相对更集中在搜索区域的中心附近,我们期望解决方案位于该区域。我们广泛地评估了BOCK,表明它不仅更准确和有效,而且还成功地扩展到高达500维的问题。我们表明,更好的准确性和可扩展性的BOCK甚至允许优化适度大小的神经网络层,以及神经网络超参数。
2019-10-28 cs.LG stat.ML
Bayesian predictive modeling of multi-source multi-way data
我们开发了一种贝叶斯方法来预测从多个来源收集的数据的连续或二进制结果,具有多路(即。多维张量)结构。作为一个激励性的例子,我们考虑来自多个组学来源的分子数据,每个在多个发育时间点测量,作为恒河猴模型中早期生活铁缺乏症(ID)的预测因子。我们使用一个线性模型与低秩结构的系数捕捉多路依赖性和模型的方差系数分别跨每个源,以推断其相对的贡献。共轭先验便于后验推理的有效吉布斯抽样算法,假设具有正态误差的连续结果或具有概率位链接的二进制结果。仿真结果表明,我们的模型在误分类率和估计系数与真实系数的相关性方面的表现与预期一致,在考虑不同来源的不同信号大小时,通过采用多路结构和适度增益,性能获得了很大的增益。此外,它为我们的激励应用程序提供了ID猴子的强大分类。R代码形式的软件可在https://github.com/BiostatsKim/BayesMSMW上获得。
2022-08-05 q-bio.QM stat.ME stat.ML
Bayesian Discovery of Linear Acyclic Causal Models
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
从非干预性数据中自动发现因果关系的方法最近受到了广泛关注。线性非循环因果模型(递归结构方程模型)是一种广泛使用且易于理解的模型族。对于高斯数据,两种基于约束的方法(Spirtes等人,一九九三年; Pearl,2000年)(输出一个单一的等价类)和基于贝叶斯评分的方法(Geiger和Heckerman,1994年)(为等价类分配相对评分)。相反,能够利用数据中的非高斯性的所有当前方法(Shimizu等人,2006; Hoyer等人,2008)总是只返回一个图或一个等价类,因此根本无法表达输出的确定性程度。在本文中,我们开发了一个贝叶斯评分为基础的方法,能够利用非高斯估计线性非循环因果模型时,我们的经验表明,至少在非常适度的规模的网络,其准确性是一样好或优于现有的方法。我们提供了一个完整的代码包(在R),实现所有的算法,并执行所有的分析提供的文件,并希望这将进一步应用这些方法来解决因果推断问题。
2012-05-09 cs.LG stat.ME stat.ML
Dynamic trees for streaming and massive data contexts
大规模的数据收集在各种各样的环境中变得无处不在,从庞大的离线数据库到流实时信息。在这种情况下部署的学习算法必须依赖于单遍推理,其中数据历史永远不会被重新访问。在流式上下文中,学习还必须在时间上自适应,以针对数据生成机制中不可预见的变化保持最新。虽然快速增长,在线贝叶斯推断文献仍然面临着巨大的数据和瞬态,不断变化的数据流的挑战。非参数建模技术可能被证明特别不适合,因为模型的复杂性可以随着样本量的增加而增加。在这项工作中,我们采取措施来克服这些挑战,通过移植标准的流技术,如数据丢弃和降权,到一个完全贝叶斯框架,通过使用信息先验和主动学习算法。我们展示了我们的方法,通过增强现代非参数建模框架,动态树,并说明其性能的一些实际例子。最终产品是一个强大的流回归和分类工具,其性能与最先进的相比毫不逊色。
2012-01-26 stat.ME stat.ML
Reuse, recycle, reweigh: Combating influenza through efficient sequential Bayesian computation for massive data
千兆字节和兆兆字节范围内的大量数据集与日益复杂的统计工具相结合,在计算可行的边界上产生分析。面对这种计算负担,通过将数据集划分为更易于处理的大小来进行妥协,导致分层分析,从证明初始数据收集合理的背景中删除。在贝叶斯框架中,这些分层分析生成中间实现,通常使用点估计进行比较,这些点估计无法解释这些实现近似的分布之间的变异性和相关性。然而,虽然最初的让步,分层一般排除了更明智的分析,使用一个单一的联合层次模型,我们可以绕过这一结果,并利用中间实现扩展的动态迭代重新加权MCMC算法。在这样做的时候,我们通过用重要性权重重新加权它们来重用可用的实现,将它们回收到现在易于处理的联合层次模型中。我们将这种技术应用于从跨越13年的687个甲型流感病毒基因组的分层分析产生的中间实现,使我们能够在分层统计框架内重新审视关于流感进化史的假设。
2011-01-05 stat.AP
Learning Bayesian Network Structure from Massive Datasets: The "Sparse Candidate" Algorithm
Hebrew University(希伯来大学);Institute of Computer Science(计算机科学研究所);Center for Neural Computations(神经计算中心)
学习贝叶斯网络通常被视为一个优化问题,其中的计算任务是找到一个最大化统计动机得分的结构。总的来说,现有的学习工具使用标准的启发式搜索技术来解决这个优化问题。由于搜索空间非常大,这样的搜索过程可能花费大部分时间来检查非常不合理的候选。当我们处理实例数量或属性数量都很大的数据集时,这个问题变得至关重要。在本文中,我们介绍了一种算法,通过限制搜索空间来实现更快的学习。这种迭代算法将每个变量的父变量限制为属于候选变量的一个小子集。然后,我们搜索满足这些约束的网络。然后,学习的网络用于为下一次迭代选择更好的候选者。我们评估该算法的合成和现实生活中的数据。我们的研究结果表明,它是显着快于替代搜索过程中学习的结构质量没有损失。
2013-01-23 cs.AI cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Vector operations for accelerating expensive Bayesian computations -- a tutorial guide
贝叶斯统计中的许多应用都是计算密集型的。然而,它们通常本质上是并行的,这使得它们成为现代大规模并行处理器的主要目标。多核和分布式计算广泛应用于贝叶斯社区,然而,很少有人关注使用单指令多数据(SIMD)操作的细粒度并行化,这些操作在大多数现代商品CPU上可用,并且是GPGPU计算的基础。在这项工作中,我们实际上证明,使用标准的编程库,实用程序的SIMD方法的几个专题贝叶斯应用。我们表明,SIMD可以提高浮点运算的性能,导致串行算法的性能提高到$6\times$。重要的是,这些改进是通过多核处理实现的任何增益的倍增。我们说明了潜在的SIMD加速贝叶斯计算,并为读者提供利用现代大规模并行处理环境中使用标准工具的技术。
2020-12-14 cs.DC cs.MS cs.PF
Bayesian methods for genetic association analysis with heterogeneous subgroups: From meta-analyses to gene-environment interactions
遗传关联分析通常涉及来自多个潜在异质亚组的数据。异质性的预期量可以从适度(例如,典型的元分析)到大(例如,一个强的基因-环境相互作用)。然而,现有的统计工具在处理这种异质性方面能力有限。事实上,大多数遗传关联荟萃分析使用“固定效应“分析,该分析假设没有异质性。在这里,我们开发和应用贝叶斯关联方法来解决这个问题。这些方法很容易应用(在最简单的情况下,只需要对每个亚组的遗传效应及其标准误误差进行点估计),并且有效地包括标准频率主义荟萃分析方法,包括通常的“固定效应“分析,作为特殊情况。我们将这些工具应用于两个大型的遗传关联研究:一个是来自全球脂质联盟的全基因组关联研究的荟萃分析,第二个是表达数量性状基因座(eQTL)的交叉群体分析。在Global Lipids数据中,我们发现,也许令人惊讶的是,不同研究的效果通常相当均匀。在eQTL研究中,我们发现eQTL通常在不同大陆群体之间共享,并讨论了这对研究设计的影响。
2014-04-14 stat.AP stat.ME
Inference-less Density Estimation using Copula Bayesian Networks
Hebrew University(希伯来大学)
我们考虑在缺失数据的情况下学习连续概率图模型。对于非高斯模型,学习这些模型的参数和结构取决于我们执行有效推理的能力,即使对于相对温和的领域也可能是禁止的。最近,我们引入了Copula贝叶斯网络(CBN)密度模型-一个灵活的框架,可以捕获复杂的高维依赖结构,同时提供对单变量边缘的直接控制,从而提高泛化能力。在这项工作中,我们表明,CBN模型也提供了显着的计算优势时,部分观察到的训练数据。具体地说,我们利用模型的特殊形式来推导出一个计算上可行的学习目标,即对数似然函数的下界。重要的是,我们的类能量约束避免了对辅助分布进行昂贵的推断的需要,从而促进了高维密度的实际学习。我们证明了我们的方法的有效性学习的结构和参数的CBN模型的两个现实生活中的连续域。
2012-03-15 cs.LG stat.ML
Constrained Bayesian Experimental Design via Online Planning
ELLIS Institute Finland(芬兰ELLIS研究所);Department of Computer Science, Aalto University, Finland(芬兰阿尔托大学计算机科学系);Department of Computer Science, University of Manchester, UK(英国曼彻斯特大学计算机科学系)
提出一种结合离线预训练摊销策略和后验网络与在线多步前瞻规划(场景树)的方法,以在动态约束下优化贝叶斯实验设计,相比现有方法获得更优信息序列且计算开销适中。
2026-05-26 cs.LG stat.ML
Bayesian tensor factorization for predicting clinical outcomes using integrated human genetics evidence
Global Blood Therapeutics(Global Blood Therapeutics(全球血液治疗公司))
候选药物的批准成功率非常低,大多数失败是由于安全性和有效性。越来越多的关于靶点、药物分子和适应症的高维信息为ML方法提供了整合多种数据模式并更好地预测临床上有前景的药物靶点的机会。值得注意的是,具有人类遗传学证据的药物靶点被证明有更好的成功几率。然而,最近的一种基于张量因子分解的方法发现,关于目标和适应症的额外信息可能不一定会提高预测准确性。在这里,我们通过整合从公开来源整理的不同类型的人类遗传学证据来重新审视这种方法,以支持每个目标-适应症对。我们使用贝叶斯张量因子分解来表明,与使用单线遗传学证据的模型相比,结合所有可用的人类遗传学证据(罕见疾病,基因负担,常见疾病)的模型适度改善了临床结果预测。我们对不同类型的人类遗传学证据的相对预测能力提供了额外的见解,以预测临床结果的成功。
2022-07-25 cs.LG q-bio.GN stat.AP
Enhanced Sparse Bayesian Learning Methods with Application to Massive MIMO Channel Estimation
针对大规模MIMO系统的稀疏信道估计问题,提出基于重参数化的增强型SBL框架E-SBL及计算更高效的变体M-E-SBL,实验表明二者均方误差性能优于基线SBL和VMP,且M-E-SBL计算成本更低。
2025-01-14 eess.SP stat.AP
Highly Scalable Bayesian Geostatistical Modeling via Meshed Gaussian Processes on Partitioned Domains
本文介绍了一类可扩展的贝叶斯层次模型,用于分析海量地统计数据集。其基本思想结合了高维地质统计学的思想,通过划分空间域和使用稀疏诱导有向无环图(DAG)对分区中的区域进行建模。我们扩展的模型在DAG的一个定义良好的空间过程,我们称之为网格高斯过程(MGP)。一个主要的贡献是一个MGP的发展镶嵌域,伴随着一个吉布斯采样器的空间随机效应的有效恢复。特别是,立方MGP(Q-MGP)可以通过在吉布斯采样器内并行执行所有大规模操作来利用高性能计算资源,与顺序更新方案相比,改善了混合和计算时间。与一些现有的大型空间数据模型不同,Q-MGP有利于大量缓存昂贵的矩阵运算,使其特别适合处理时空遥感数据。我们将Q-MGP与大型合成和真实世界数据进行比较,以对抗最先进的方法。我们还说明了使用归一化差异植被指数(NDVI)数据从塞伦盖蒂公园地区恢复潜在的多变量时空随机效应在数百万个位置。源代码可在https://github.com/mkln/meshgp上获得。
2020-10-05 stat.CO stat.ME
A Unified Bayesian Model for Voter Turnout Estimation: Combining Surveys, Aggregate Data, and Selection Correction
School of Economics and Business Administration, University of Tartu(塔尔图大学经济与商业管理学院)
该研究提出整合调查、汇总数据与选择校正的贝叶斯层次框架,含三类模型,经模拟和爱沙尼亚选举数据验证,可提升小区域选民投票率估计精度。
2026-08-17 stat.AP stat.ME
Bayesian and empirical Bayesian forests
我们通过非参数贝叶斯模型获得决策树的集合,使我们能够将随机森林视为来自后验分布的样本。这种见解提供了大量的收益,在可解释性,并激励一类贝叶斯森林(BF)算法,产生小,但可靠的性能增益。基于BF框架,我们能够证明,高层次树层次结构是稳定的大样本。这导致了一个经验贝叶斯森林(EBF)算法建立近似的BF上的大规模分布式数据集,我们表明,EBF优于子采样为基础的替代品的大幅度。
2015-05-15 stat.AP
Bayesian identification of bacterial strains from sequencing data
在DNA测序的最新技术进步之后,快速测定从医院患者或环境来源获得的样品中存在的细菌物种的多样性已经成为可能。对于几种应用,重要的是根据从样品获得的短序列读数准确地鉴定靶生物体的存在并估计其相对丰度。当感兴趣的集合包括非常密切相关的生物体时,例如不同的病原菌菌株,这一任务特别具有挑战性,这些菌株在毒力、抗性和传播方面可能差异很大。使用先进的贝叶斯统计建模和计算技术,我们引入了一种新的细菌识别管道,该管道的性能优于目前领先的管道。我们的方法能够快速准确地基于序列识别细菌菌株,同时仅使用适度的计算资源。因此,它为广泛的应用提供了有用的工具,包括快速临床诊断,以区分引起医院感染的密切相关的菌株。该软件的实现可在https://github.com/PROBIC/BIB上获得
2016-02-17 q-bio.GN q-bio.QM stat.AP
Bayesian Computation in Dynamic Latent Factor Models
贝叶斯计算的过滤和预测分析开发了广泛的一类动态模型。在非高斯、非线性多变量时间序列模型中,通过引入一种新的Copula结构,在动态广义线性模型的耦合集的顺序滤波中,提高了这种分析的能力。新的Copula方法被集成到最近推出的多尺度模型,其中单变量时间序列耦合通过非线性形式,涉及动态的潜在因素,代表跨系列的关系。由此产生的方法提供了显着的速度加快在线贝叶斯计算顺序过滤和预测在这个广泛的,灵活的类的多变量模型。非负计数的非常异质的时间序列的非线性模型中的两个例子展示了相对于现有的基于模拟的方法的巨大的计算效率,同时定义了类似的过滤和预测结果。
2020-07-09 stat.CO stat.ME
Being Bayesian about Network Structure
Hebrew University(希伯来大学);Stanford University(斯坦福大学)
在许多领域,我们对分析底层分布的结构感兴趣,例如,一个变量是否是另一个变量的直接父变量。贝叶斯模型选择试图找到MAP模型并使用其结构来回答这些问题。然而,当可用数据量适中时,可能有许多模型具有不可忽略的后验。因此,我们想要计算特征的贝叶斯后验,即,包含它的所有模型的总后验概率。在本文中,我们提出了一种新的方法来完成这项任务。我们首先展示了如何有效地计算一个指数网络的总和,这些网络与网络变量的固定顺序一致。这使我们能够计算,对于给定的顺序,数据的边际概率和后验特征。然后,我们使用这个结果作为一个算法的基础,近似贝叶斯后验的功能。我们的方法使用马尔可夫链蒙特卡罗(MCMC)方法,但在排序,而不是在网络结构。有序的空间比结构的空间小得多,也更规则,并且有一个更平滑的后“空间”。我们在合成和现实生活中的数据集上提出了实证结果,将我们的方法与完整模型平均(如果可能),网络结构上的MCMC以及非贝叶斯自助方法进行了比较。
2013-01-16 cs.AI cs.LG stat.ML
Bayesian Multi-Topology Express Transportation Network Design under Posterior Predictive Demand, Sorting-Efficiency and Delivery-Time Uncertainty
Visva-Bharati University(维斯瓦·巴拉蒂大学)
本文提出基于后验预测的贝叶斯多拓扑快递网络设计方法,通过学习需求和不确定性,优化成本与可靠性,在小幅额外成本下显著降低尾部交付风险并提升枢纽可靠性。
2026-05-07 stat.OT
Distributed Soft Bayesian Additive Regression Trees
贝叶斯加性回归树(BART)BART是一种贝叶斯非参数方法,与随机森林和梯度提升决策树等现代预测方法相比,具有很强的竞争力。树结构的总和与贝叶斯推理框架相结合,提供了一种准确和鲁棒的统计方法。BART变体SBART使用随机决策树,与BART相比,显示了实际的优势。SBART的应用表明,SBART具有很好的预测效果。SBART算法的主要瓶颈是计算充分统计量的速度,而R软件包中的SBART算法的公开实现非常缓慢。本文介绍了如何利用消息传递接口(MPI)库,使用单程序多数据(SPMD)分布式计算来修改和计算SBART算法。这种方法在处理器核的数量上几乎线性地扩展,使得从业者能够对大量数据集执行统计推断。我们的方法也可以处理太大的数据集,适合于任何单一的数据仓库。我们对该算法进行了修改,使其能够处理分类问题,不能与原来的R包。通过数据实验,我们显示了分布式SBART分类问题相比,BART的优势。
2021-08-26 stat.AP
Parallel Bayesian Additive Regression Trees
贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种灵活的非线性回归的贝叶斯方法,已被证明与最好的现代预测方法(如基于Bagging和Boosting的方法)竞争。BART提供了一些优势。例如,随机搜索马尔可夫链蒙特卡罗(MCMC)算法可以提供对模型空间的更完整的搜索,并且MCMC绘制之间的变化可以以通常的贝叶斯方式捕获不确定性水平。BART先验是稳健的,因为通常使用默认先验规范获得合理的结果。然而,在R软件包BayesTree中公开的BART算法的实现速度不够快,不能被认为是与超过一千个观察结果交互的,甚至不太可能运行50,000到100,000个观察结果。在本文中,我们将展示如何BART算法可能会被修改,然后计算使用单程序,多数据(SPMD)并行计算实现的消息传递接口(MPI)库。该方法在处理器内核的数量上几乎线性地扩展,使从业者能够对大量数据集执行统计推断。我们的方法还可以处理太大而无法容纳在任何单个数据存储库中的数据集。
2013-09-07 stat.CO
Bayesian Pseudo Posterior Mechanism for Differentially Private Machine Learning
RTI International(RTI国际研究所);U.S. Bureau of Labor Statistics(美国劳工统计局)
提出SWAG-PPM,一种基于伪后验分布的差分隐私机制,通过按披露风险降权记录,在高度不平衡数据上优于DP-SGD,仅适度降低效用。
2025-03-27 cs.CR cs.LG stat.ML
Two-step Lookahead Bayesian Optimization with Inequality Constraints
Cornell University(康奈尔大学)
计算高效的非近视贝叶斯优化(BO)的最新进展,提高了查询效率比传统的近视方法,如预期的改善,而只有适度增加计算成本。然而,这些进展在很大程度上局限于无约束优化。对于约束优化,现有的几个非近视BO方法需要大量的计算。例如,一种现有的非近视约束BO方法[Lam和Willcox,2017]依赖于蒙特卡罗卷展获取函数的计算成本高、不可靠、无蛮力导数的优化。在无约束设置中使用重新参数化技巧以更有效地基于导数优化非近视采集函数的方法,如样本平均近似和无穷小扰动分析,不扩展:约束在采样采集函数表面中引入不连续性,从而阻碍其优化。此外,我们认为,在约束问题中,非近视更为重要,因为对违反约束的恐惧会使近视方法远离对可行区域和不可行区域之间的边界进行采样,从而减缓发现具有严格约束的最优解。在本文中,我们提出了一个计算效率高的两步前瞻约束贝叶斯优化采集功能(2-OPT-C)支持顺序和批量设置。为了使快速采集功能优化,我们开发了一种新的似然比为基础的无偏估计量的梯度的两步最佳采集功能,不使用重新参数化技巧。在数值实验中,2-OPT-C通常比以前的方法提高查询效率2倍或更多,在某些情况下提高10倍或更多。
2021-12-06 cs.AI cs.LG stat.ML
Hierarchical Bayesian Regression for Multi-Location Sales Transaction Forecasting
Microsoft(微软)
本文应用分层贝叶斯回归模型预测多地点全天销售交易,通过跨组共享推断解决单点数据不足问题,在保证可扩展性的同时提升了预测准确度。
2023-06-30 cs.LG stat.AP
Zero-Truncated Poisson Tensor Factorization for Massive Binary Tensors
Duke University(杜克大学)
我们提出了一个可扩展的贝叶斯模型的低秩分解的大规模张量与二进制观测。所提出的模型具有以下关键性质:(1)与基于逻辑或概率单位似然的模型相比,使用二进制数据的零截断泊松似然允许我们的模型在张量中的\emph{ones}的数量上按比例增加,这对于大规模但稀疏的二进制张量特别有吸引力;(2)以二进制成对关系形式的边信息(例如,邻接网络),这在“冷启动”设置中特别有用;以及(3)该模型允许通过批处理以及\emph{online} MCMC进行简单的贝叶斯推断;后者允许甚至对\emph{dense}二进制数据按比例放大(即,当张量/网络中的1的数量也很大时)。此外,我们模型中的非负因子矩阵提供了易于解释的能力,并且可以从数据中推断出张量秩。我们在几个大规模的真实世界的二进制张量上评估了我们的模型,实现了出色的计算可扩展性,并且还证明了它在利用以模式网络形式提供的边信息方面的有用性。
2015-08-18 cs.LG stat.ML
Bayesian joint modeling of chemical structure and dose response curves
今天,大约有85,000种化学品受到《有毒物质控制法》的管制,每年引入大约2,000种新化学品。通过完整的生物体体内研究或体外高通量筛选(HTS)程序,不可能筛选所有这些化学品的潜在毒性作用。毒理学家面临的挑战是选择筛选哪些化学物质,并预测尚未筛选的化学物质的毒性。我们的目标是描述化学结构的变化如何与毒理学反应的变化相关,以实现旨在满足这两个挑战的计算机毒性表征。通过我们的贝叶斯部分监督稀疏平滑因子分析($\text{BS}^3\text{FA}$)模型,我们了解了针对毒性的化学品之间的距离,而不是仅基于分子结构的距离。我们的模型还可以利用已经在HTS程序中进行毒性测试的化学品的大型数据库,根据化学结构(即,没有体内或体外测试)预测化学剂量-反应曲线。与现有方法相比,我们在远程学习中表现出优越的模拟性能,并且在预测能力方面有适度到较大的增益。高通量筛选数据应用的结果阐明了化学结构与毒性相关高通量测定之间的关系。$\text{BS}^3\text{FA}$的R包可在https://github.com/kelrenmor/bs3fa上在线获得。
2020-10-18 stat.AP
Fast Bayesian Optimization of Function Networks with Partial Evaluations
Center for Applied Mathematics, Cornell University, USA(应用数学中心,康奈尔大学);School of Operations Research and Information Engineering, Cornell University, USA(运筹学与信息工程学院,康奈尔大学)
针对函数网络贝叶斯优化中p-KGFN算法计算开销大的问题,提出加速算法,通过单次全局蒙特卡洛模拟生成节点候选输入,实现高达16倍加速且查询效率损失小。
2025-06-23 cs.LG stat.ML
A Bayesian model for lithology/fluid class prediction using a Markov mesh prior fitted from a training image
我们认为,贝叶斯模型的观测振幅随偏移距变化(AVO)数据反演成岩性/流体类,并特别研究如何选择的先验分布的岩性/流体类的影响反演结果。两个不同的先验分布被认为是,一个简单的手动指定的马尔可夫随机场前与一阶邻域和马尔可夫网格模型与一个更大的邻域估计从训练图像。它们被选择来模拟水平连通性和岩性/流体类的垂直厚度分布,并在北海的海上碎屑岩油藏进行比较。我们结合先验与相同的线性高斯似然函数的基础上卷积线性Zoeppritz关系和估计的属性,由此产生的两个后验分布从这些分布与梅特罗波利斯-黑斯廷斯算法模拟。先验对岩性/流体类的边缘后验概率的影响是明显可观察的,但适度。然而,在后验实现中,先验对连通性的重要性要强得多。马尔可夫网格先验的较大邻域使其能够比一阶邻域马尔可夫随机场先验更好地识别和建模连通性和曲率。因此,我们得出结论,后实现的马尔可夫网格先验的基础上出现更高的横向连接,这是地质上合理的。
2018-07-05 stat.AP
Uncovering Drivers of EU Carbon Futures with Bayesian Networks
本文使用离散与动态贝叶斯网络分析2013—2025年日度数据,揭示能源商品、欧洲能源板块及市场情绪对EU ETS碳期货价格的同期与滞后驱动机制。
2025-05-15 stat.AP
ExDBN: Learning Dynamic Bayesian Networks using Extended Mixed-Integer Programming Formulations
Czech Technical University in Prague(捷克技术大学布拉格分校);HSBC Holdings Plc., Singapore(汇丰控股有限公司(新加坡));Athena Research Center(雅典研究中心)
ExDBN通过扩展混合整数规划公式,提出了一种基于得分的学习算法,以更准确地学习动态贝叶斯网络。
2025-11-12 cs.LG stat.ML
SunBURST: Deterministic GPU-Accelerated Bayesian Evidence via Mode-Centric Laplace Integration
Braude College of Engineering(布雷德工程学院)
SunBURST通过模式中心拉普拉斯积分实现高维贝叶斯证据计算,结合GPU并行加速,适用于高斯和近高斯后验,提供高精度且高效的结果。
2026-01-27 astro-ph.CO astro-ph.IM stat.CO
Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution
从模拟的后验分布的边缘似然计算是贝叶斯模型选择的核心,但计算困难。我认为,边际可能性可以可靠地计算出后验样本仔细注意的概率积分的数值。假定边缘似然的表达式为勒贝格积分,我们可以将调和平均近似从样本统计量转换为求积规则。作为一种求积方法,调和平均近似会产生巨大的截断误差。此外,我证明了调和平均近似的积分表达式收敛缓慢,在最好的高维问题与无信息的先验分布。这些意见导致两个计算适度的正交算法,使用完整的一般性样本后验,但没有不稳定的家庭。第一种算法自动消除了样本中截断误差较大的部分。第二种算法利用后验样本将概率分配给样本空间的一个分区,并直接进行边缘似然积分。这消除了收敛问题。第一种算法类似于标准求积,但只能应用于收敛问题。第二种是体积的混合:它使用后验来发现和镶嵌样本空间的子集,并使用分位数来计算代表性的字段值。这两种算法都没有对后验分布的形状做出强有力的假设,也不是敏感的离群值。[删节]
2010-06-22 astro-ph.CO astro-ph.IM math.ST
A survey on Bayesian inference for Gaussian mixture model
聚类已经成为机器学习中的核心技术,主要是由于其在无监督学习、聚类、分类和密度估计领域的应用。一种基于混合模型的频率论方法被称为EM算法,其中混合模型的参数通常被估计到最大似然估计框架中。有限和无限高斯混合模型的贝叶斯方法生成所有变量的点估计以及以整体估计的后验分布形式的相关不确定性。本综述的唯一目的是对有限和无限高斯混合模型的贝叶斯推理中的概念和数学工具进行独立的介绍,以便在后续章节中无缝地介绍它们的应用。然而,我们清楚地认识到,我们无法涵盖有关这一领域的所有有用和有趣的结果,并且由于缺乏讨论的范围,例如,分别分析了用破棒法和波利亚瓮法生成Dirichlet样本的方法。我们建议读者参考文献领域的狄利克雷过程混合物模型更详细地介绍了相关领域。一些优秀的例子包括(Frigyik等人,2010; Murphy,2012; Gelman等人,2014; Hoff,2009)。本文主要综述了高斯混合模型的研究目的、意义、重要背景和技术,狄利克雷先验,中国餐馆的过程,最重要的是起源和复杂的方法,揭示了他们的现代应用。数学的先决条件是概率的第一门课程。除了这个温和的背景,发展是独立的,与严格的证明提供了整个。
2021-08-20 cs.AI cs.LG stat.ML
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology(卡弗里宇宙学研究所);University of Cambridge(剑桥大学);University of Sussex(萨塞克斯大学)
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的,但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具,完全边缘化所有后验模式,我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性,我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子,这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Bayesian Inference Forgetting
University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
被遗忘的权利在许多国家已经立法,但在机器学习中的执行将导致无法承受的成本:由于单个请求,公司可能需要删除从大量资源中学习的整个模型。现有的工作建议通过其影响函数,这不再是自然定义的贝叶斯推理从所请求的数据中删除的知识。提出了一种{ \it贝叶斯推理遗忘}(BIF)框架,实现贝叶斯推理中的被遗忘权。在BIF框架中,我们开发了变分推理和马尔可夫链蒙特卡罗的遗忘算法。我们表明,我们的算法可以证明消除单一数据的学习模型的影响。理论分析表明,我们的算法有保证的推广性。在合成数据集上的高斯混合模型和在真实数据集上的贝叶斯神经网络实验验证了该方法的可行性。源代码包可从\url{https://github.com/fshp971/BIF}获得。
2021-02-18 cs.AI cs.LG stat.ML