Meta-Uncertainty in Bayesian Model Comparison
University of Stuttgart(斯图加特大学);Heidelberg University(海德堡大学)
贝叶斯模型比较(BMC)提供了一种原则性的概率方法来研究和排名竞争模型。在标准BMC中,我们在可能的模型集合上构造离散概率分布,条件是观察到的感兴趣的数据。这些后验模型概率(PMP)是不确定性的度量,但是-当从有限数量的观察中得出时-本身也是不确定的。在本文中,我们概念化的BMC中出现的不同层次的不确定性。我们探索了一个完全概率的框架,量化元不确定性,从而在一个应用的方法,以提高任何BMC的工作流程。利用贝叶斯和频率论技术,我们通过元模型表示不确定PMP的不确定性,该元模型将模拟和观察数据结合到新数据上PMP的预测分布中。我们证明了所提出的方法在共轭贝叶斯回归,似然推理与马尔可夫链蒙特卡罗,和基于模拟的推理与神经网络的背景下的效用。
2023-02-21 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain(谷歌大脑)
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而,在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法,只需访问模型的后验样本。与此同时,近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此,在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响,我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现,许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是,我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Marginal likelihood based model comparison in Fuzzy Bayesian Learning
Imperial College London(伦敦帝国学院);Sciemus Ltd(Sciemus有限公司);University of Oxford(牛津大学)
在最近的一篇论文[1]中,我们介绍了模糊贝叶斯学习(FBL)范式,其中专家意见可以以模糊规则库的形式编码,模糊集的超参数可以使用贝叶斯方法从数据中学习。本文扩展了这项工作,选择最合适的规则库之间的一组竞争的替代品,最好的解释数据,通过计算模型的证据或边际似然。我们解释了为什么这是一个有吸引力的替代简单地最小化预测的均方误差度量,并显示了使用合成的例子和现实世界的案例研究在金融服务部门的命题的有效性。
2017-03-29 cs.LG stat.ML
Simulation comparisons between Bayesian and de-biased estimators in low-rank matrix completion
Norwegian University of Science and Technology(挪威科技大学)
本文通过模拟比较了低秩矩阵补全中贝叶斯估计与去偏估计的性能,发现两者相当,但贝叶斯方法更稳定且在小样本下更优,并指出去偏置信区间覆盖率较低,需进一步理论研究。
2023-09-01 cs.LG stat.ML
Bayesian active learning for choice models with deep Gaussian processes
Northwestern University(西北大学)
在本文中,我们提出了一个主动学习算法和模型,可以逐步学习个人的偏好,通过两两比较。主动学习方案的目的是找到个人的最喜欢的选择与最小数量的成对比较。基于选择模型和深度高斯过程的假设,将成对比较编码到概率模型中。下一个比较的决定是由一个新的采集功能。我们使用具有多个局部最优值和一个公共航空公司行程数据集的函数对所提出的算法和模型进行基准测试。实验结果表明了该主动学习算法和模型的有效性。
2018-05-04 cs.LG stat.ML
Amortized Bayesian model comparison with evidential deep learning
比较复杂自然过程的相互竞争的数学模型是许多科学分支的共同目标。贝叶斯概率框架提供了一种原则性的方法来执行模型比较,并提取有用的指标来指导决策。然而,许多有趣的模型是棘手的标准贝叶斯方法,因为他们缺乏一个封闭的形式似然函数或可能性是计算太昂贵的评估。通过这项工作,我们提出了一种使用专门的深度学习架构执行贝叶斯模型比较的新方法。我们的方法纯粹是基于模拟的,并避免了将所有备选模型显式拟合到每个观察到的数据集的步骤。此外,它不需要手工制作的数据汇总统计数据,旨在分摊多个模型和可观察数据集的模拟成本。这使得该方法特别有效的情况下,模型拟合需要评估大量的数据集,使每个数据集的推理实际上是不可行的。最后,我们提出了一种新的方法来衡量模型比较问题的认知不确定性。我们展示了我们的方法的实用性玩具的例子和模拟数据从非平凡的模型从认知科学和单细胞神经科学。我们表明,我们的方法在这项工作中考虑的例子的准确性,校准和效率方面取得了优异的结果。我们认为,我们的框架可以增强和丰富基于模型的分析和推理,在许多领域处理自然过程的计算模型。我们进一步认为,所提出的认知不确定性的措施提供了一个独特的代理,以量化绝对的证据,即使在一个框架,假设真正的数据生成模型是在一个有限的候选模型。
2021-03-02 cs.LG stat.ML
Statistical comparison of classifiers through Bayesian hierarchical modelling
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所 (IDSIA));University of Ljubljana(卢布尔雅那大学)
通常人们通过零假设显著性检验(nhst)来比较两个竞争分类器的准确性。然而,nhst测试遭受的重要缺点,这可以通过切换到贝叶斯假设检验克服。我们提出了一个贝叶斯分层模型,共同分析交叉验证结果,由两个分类器在多个数据集。它返回两个分类器的准确度实际上相等或显著不同的后验概率。分层模型的另一个优点是,通过联合分析所有数据集上获得的结果,与对给定数据集上获得的交叉验证结果进行平均的通常方法相比,它减少了估计误差。
2016-11-22 cs.LG stat.ME stat.ML
An Experimental Comparison of Hybrid Algorithms for Bayesian Network Structure Learning
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);Université Lyon 1(里昂第一大学)
提出了一种新的贝叶斯网络结构学习的混合算法,称为混合HPC(H2 PC)。它首先重建贝叶斯网络的骨架,然后执行贝叶斯评分贪婪爬山搜索来定位边缘。它基于一个名为HPC的子例程,该子例程结合了增量和基于约束的分治方法的思想,以学习目标变量的父变量和子变量。我们对H2 PC与Max-Min Hill-Climbing(MMHC)进行了实验比较,MMHC是目前最强大的贝叶斯网络结构学习算法,在几个具有不同数据大小的基准测试中。我们的大量实验表明,H2 PC在对新数据的拟合优度和网络结构本身的质量方面都优于MMHC,它更接近数据的真实依赖结构。H2 PC的源代码(R)以及用于实证测试的所有数据集都是公开的。
2015-08-24 cs.AI cs.LG stat.ML
An Empirical Comparison of Sampling Quality Metrics: A Case Study for Bayesian Nonnegative Matrix Factorization
Harvard University(哈佛大学)
在这项工作中,我们经验性地探索的问题:我们如何才能评估一些目标分布的样本的质量?我们假设样本是由一些有效的蒙特卡罗程序提供的,所以我们保证样本的集合将渐近逼近真实分布。目前大多数评价方法都集中在两个问题上:(1)链是否混合,即是否从分布中抽样?以及(2)样本的独立性如何(因为MCMC程序产生相关样本)?专注于贝叶斯非负矩阵分解的情况下,我们经验性地评估采样质量的标准指标,以及提出新的指标来捕捉这些措施未能暴露的方面。我们特别感兴趣的采样方面是采样方法在NMF问题中在多个最优之间移动的能力(或能力)。作为一个代理,我们提出并研究了一些指标,可以量化的多样性的一组NMF因子分解采样器通过量化后验分布的覆盖范围。我们比较了一些标准的NMF抽样方法的性能,在这些新的指标。
2016-06-20 cs.LG stat.ML
A comparison of mixed-variables Bayesian optimization approaches
CEA(法国原子能和替代能源委员会);LETI(原子能与替代能源委员会电子与信息技术实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);LIMOS(计算机科学、建模与优化实验室);CNRS(法国国家科学研究中心);Mines Saint-Etienne(圣艾蒂安国立高等矿业学校);UCA(克莱蒙奥弗涅大学);INSA Toulouse(图卢兹国立应用科学学院);COSYS(系统与组件建模与设计部);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);CEA-DAM(法国原子能和替代能源委员会军事应用局)
大多数真正的最优化问题定义在一个混合的搜索空间,其中的变量是离散和连续的。在工程应用中,目标函数的计算通常采用数值代价高昂的黑箱模拟,因此,一般的混合和代价高昂的最优化问题具有很大的实际意义,但它们的求解在很大程度上仍然是一个开放的科学问题。在这篇文章中,昂贵的混合问题,通过高斯过程,离散变量放松到连续的潜变量。连续空间比混合空间更容易被经典贝叶斯优化技术收获。离散变量被恢复或者随后的连续优化,或同时与一个额外的连续离散相容性约束,处理与增广拉格朗日。这种贝叶斯混合优化的几种可能的实现进行了比较。特别是,连续潜变量的问题的重新表述与直接在混合空间中工作的搜索竞争。在涉及潜变量和增广拉格朗日的算法中,特别注意的是拉格朗日乘子的局部和全局估计技术进行了研究。的比较是基于三个分析功能和梁的设计问题的重复优化。
2022-05-03 cs.LG math.OC stat.AP
Is the Best Better? Bayesian Statistical Model Comparison for Natural Language Processing
Wrocław University of Science and Technology(弗罗茨瓦夫科技大学);City University of New York(纽约城市大学)
最近的工作引起了人们对使用标准分割来比较自然语言处理模型的关注。我们提出了一种贝叶斯统计模型比较技术,该技术使用跨多个数据集的k折交叉验证来估计一个模型将优于另一个模型的可能性,或者两个模型将产生几乎等同的结果。我们使用这种技术来排名六个英语词性标注在两个数据集和三个评价指标。
2020-10-06 cs.CL cs.LG stat.ME
Adaptive KappaSharp: Condition-Number Shaping for Preferential Bayesian Optimization
University of California, Berkeley(加州大学伯克利分校);Wuhan University(武汉大学)
针对偏好贝叶斯优化中海森矩阵秩亏的结构性缺陷,提出自适应KappaSharp方法,通过条件数塑形优化,在11个含等离子医学控制器调优的基准上优于标准PBO基线,性能提升最高10.9%
2026-08-11 cs.LG stat.ML
Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing
New York University(纽约大学);University of Iowa(爱荷华大学)
基于两两比较的排序聚合有着广泛的应用。虽然相当多的研究已经致力于发展的排名聚合算法,一个基本的问题是如何有效地收集大量的高质量的成对比较的排名的目的。由于许多众包服务的出现,一群工人经常被雇佣来进行成对比较,每对他们比较一个小的金钱奖励。由于不同的工作者具有不同的可靠性水平,并且不同的对具有不同的模糊性水平,因此希望明智地分配有限的预算用于在项目和工作者对之间进行比较,使得可以从比较结果准确地推断全局排名。为此,我们将众包排名中的主动抽样问题建模为贝叶斯马尔可夫决策过程,该过程在预算约束下动态选择项目对和工人以提高排名精度。我们进一步开发了一个计算效率高的采样政策的基础上的知识梯度以及矩匹配技术的后验近似。在合成数据和真实数据上的实验结果表明,该策略以较低的标记代价实现了较高的排序精度。
2016-12-21 cs.LG stat.ME stat.ML
Bayesian model comparison in cosmology
标准的贝叶斯模型形式主义比较不能应用于大多数宇宙学模型,因为它们缺乏动机良好的参数先验。然而,如果使用的数据集是可分离的,则可以使用一些数据来获得必要的参数分布,其余数据被保留用于模型比较。虽然这些方法并不完全是规范性的,但它们提供了一种在宇宙学情况下应用贝叶斯模型比较的途径,否则它无法使用。
2015-03-11 astro-ph.CO math.ST stat.TH
A Bayesian approach to the linking of key comparisons
这方面的贡献提出了一个贝叶斯方法的关键比较测量的结果链接的问题。一个数学处理的基础上贝叶斯统计分析的结果,从两个比较与一些联合参与者。这种稳健的统计分析提供了关键比较参考值(KCRV)和等效度(DOE)的表达式和标准不确定度,以及符合性检查,而无需对其中一项比较的优先级进行任何假设。除了推导的数学公式用于这种类型的“分布式连接”,我们还提出了一个合成和一个真正的连接的例子,并讨论这种新的连接过程可能的应用。
2015-01-28 stat.AP
A Systematic Comparison of Bayesian Deep Learning Robustness in Diabetic Retinopathy Tasks
University of Oxford(牛津大学)
贝叶斯深度学习(BDL)方法的评估具有挑战性。我们经常寻求评估方法的鲁棒性和可扩展性,评估新工具是否比旧工具提供“更好”的不确定性估计。这些评估对于从业者在选择BDL工具并在其上构建应用程序时至关重要。目前流行的BDL方法的评估,如UCI实验,是缺乏的:当用于医疗或汽车等应用时,这些实验中表现出色的方法往往会失败,这表明该领域需要新的基准。我们提出了一个新的BDL基准与不同的任务集,灵感来自现实世界的医学成像应用程序\emph{diabetic retinopathy diagnosis}。考虑视觉输入(视网膜的512 x512 RGB图像),其中模型不确定性用于医学预筛选-即当模型诊断不确定时将患者转诊给专家。然后根据来自专家领域的度量对方法进行排名,以反映自动诊断中模型不确定性的真实使用。我们开发了属于此应用程序的多个任务,包括分布外检测和对分布偏移的鲁棒性。然后,我们进行了系统的比较,良好的调整BDL技术的各种任务。从我们的比较中,我们得出结论,目前的一些技术,解决基准,如UCI“过拟合”他们的不确定性的数据集-当我们的基准评估这些表现不佳相比,更简单的基线。基准测试的代码、它的基线和一个用于评估新BDL工具的简单API可以在https://github.com/oatml/bdl-benchmarks上获得。
2019-12-22 cs.LG eess.IV stat.ML
Evidence Networks: simple losses for fast, amortized, neural Bayesian model comparison
University College London(伦敦大学学院);Center for Computational Astrophysics, Flatiron Institute(计算天体物理中心,弗拉蒂隆研究所)
提出 Evidence Networks,通过将贝叶斯模型比较转化为优化问题并设计特定损失函数,直接估计贝叶斯因子的便利函数,实现了快速、摊销且不受参数空间维度限制的模型比较。
2024-01-10 astro-ph.CO astro-ph.IM cs.LG
Quantitative comparisons between finitary posterior distributions and Bayesian posterior distributions
贝叶斯统计推断的主要目的是确定后验分布。有时,这些定律是为缺乏经验值的量给出的。当我们只考虑有限视界框架时,这个严重的缺点就消失了。然而,假设无限的交换率会产生相当容易处理的{ \it a posteriori}量,这在应用中是非常有吸引力的。因此,为了调和这两个方面的贝叶斯推理方式,在本文中,我们提供了定量比较后验分布的有限参数和后验分布的盟军参数出现在通常的统计模型。
2008-07-08 math.PR math.ST q-fin.ST
Comparison of Bayesian and Frequentist Multiplicity Correction For Testing Mutually Exclusive Hypotheses Under Data Dependence
考虑了用相依检验统计量检验互斥假设的问题。贝叶斯和频率论方法的多重性控制进行了研究和比较,以帮助获得理解的效果,检验统计量依赖于每种方法。贝叶斯方法被证明具有优良的频率特性,并被认为是最有效的方式获得频率多重控制,而不牺牲权力,当有相当大的检验统计量依赖。
2016-11-17 math.ST stat.TH
Paired Comparisons Modeling using t-Distribution with Bayesian Analysis
配对比较分析是在对象之间进行比较判断的最简单方法,其中对象可以是商品,服务或技能。对于一组问题,这种技术有助于选择最重要的问题首先解决和/或提供最有效的解决方案。本文介绍了配对比较方法的基本原理,并在此基础上提出了一种基于t分布的配对比较模型。所开发的模型是说明使用的数据集之间的引用四个著名的统计期刊。使用贝叶斯分析,这些期刊的排名为JRSS-B --> Biometrika --> JASA --> Comm. in Stats。
2020-02-26 stat.ME
Comparison Between Bayesian and Frequentist Tail Probability Estimates
该研究比较尾概率的贝叶斯与频率学派估计,借助 Jensen 不等式和 Taylor 近似给出前者偏高的充分条件,并将原因归结为分布函数的凸性。
2023-06-06 stat.ME
Bayesian model checking: A comparison of tests
使用一个简单的测试问题的基础上,当地的哈勃展开的贝叶斯模型检查的两个程序进行比较。在四个数量级以上,从后验概率密度函数的全局拟合优度标准(Lucy 2017)得出的p值与后验预测p值非常一致。因此,前者可以作为难以计算的后验预测p值的有效替代。
2017-12-20 astro-ph.IM stat.ME
The Controlled Thermodynamic Integral for Bayesian Model Comparison
贝叶斯模型比较依赖于模型证据,但对于许多感兴趣的模型,模型证据是不可用的封闭形式,必须近似。在蒙特卡罗文献中提出的许多证据的估计量都具有很高的变异性。本文认为,减少方差,可以通过利用控制变量在这种设置。我们的方法是基于热力学积分和适用于任何时候的梯度的对数似然和对数先验相对于参数可以有效地评估。回归模型和流行的基准数据集上获得的结果表明,估计方差显着,有时显着减少,并提供了更广泛的适用性控制变量贝叶斯模型比较的洞察。
2014-05-01 stat.ME
Bayesian Paired-Comparison with the bpcs Package
本文介绍了bpcs R包(Stan中的Bayesian Paired Comparison)以及在该包中实现的统计模型。该软件包旨在促进行为研究中配对比较数据的贝叶斯模型的使用。配对比较数据的贝叶斯分析允许即使在不存在极大似然的条件下进行参数估计,允许配对比较模型的容易扩展,提供具有可信区间的结果的直接解释,具有对第一类错误的更好控制,具有对原假设的更稳健证据,允许传播不确定性,包括先验信息,并且在处理具有许多参数和潜在变量的模型时表现良好。bpcs包为R用户提供了一个一致的接口,并提供了几个函数来评估所有参数的后验分布,估计项目之间任何竞争的后验分布,以及获得秩的后验分布。最近的研究,使用频率论布拉德利-特里模型的三个重新分析。这些再分析是使用bpcs包的贝叶斯模型进行的,所有用于拟合模型、生成图和表的代码都可以在在线附录中找到。
2021-09-20 cs.MS stat.ME
Learning Dynamic Bayesian Networks from Data: Foundations, First Principles and Numerical Comparisons
本文系统梳理了从轨迹样本数据中学习动态贝叶斯网络的基础理论、模型解析形式与评分函数,并对代表性学习算法在不同设置下进行了数值比较。
2024-08-30 cs.LG math.ST stat.TH
Bayesian Model Comparison in Genetic Association Analysis: Linear Mixed Modeling and SNP Set Testing
我们考虑了灵活的贝叶斯线性回归模型下的假设检验和模型比较问题,该模型的形成与遗传关联研究中SNP集分析的线性混合效应模型和参数模型密切相关。我们推导出一类解析近似贝叶斯因子,并说明它们与各种频率论检验统计量的联系,包括Wald统计量和方差分量得分统计量。利用贝叶斯模型平均和分层建模,我们展示了一些独特的优势和灵活性的方法,利用派生贝叶斯因子的背景下,遗传关联研究。我们使用真实或模拟的数值例子证明了我们提出的方法在单SNP关联测试,多位点精细定位和SNP集关联测试中的应用。
2015-02-23 q-bio.QM stat.AP stat.ME
Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure
我们调查最佳后验最近推出的\cite{begin2016pac}卡方发散PAC贝叶斯边界的性质,他们的分布,计算的可扩展性和测试集的性能。对于一个有限的分类器集,我们推导出三个距离函数的界限:KL-发散,线性和平方距离。最优后验权重与经验风险的偏差成比例,通常具有子集支持。对于均匀先验,在按这些风险排序的分类器子集上的后验中搜索就足够了。我们将线性距离的界最小化作为凸规划,并得到其最优后验的封闭形式的表达式。而平方距离问题在一定条件下是一个拟凸规划,KL-发散问题是一个非凸优化(一个凸函数的差)问题。为了计算这样的最佳后验,我们得到快速收敛的不动点(FP)方程。我们将这些方法应用于SVM正则化参数值的有限集,以产生具有紧边界的随机SVM。我们在各种UCI数据集上对我们的最佳后验和已知的基于KL发散的后验进行了全面的性能比较,这些数据集具有不同的风险值范围和方差等。基于卡方发散的后验具有较弱的边界和更差的测试误差,暗示了基于KL发散的后验的潜在正则化。我们的研究突出了发散函数对PAC-Bayesian分类器性能的影响。我们比较我们的随机分类器与基于交叉验证的确定性分类器。后者具有更好的测试误差,但我们的样本更稳健,具有可量化的泛化保证,并且计算速度更快。
2020-08-14 cs.LG math.ST stat.ML
Bayesian correction for covariate measurement error: a frequentist evaluation and comparison with regression calibration
处理协变量测量误差的贝叶斯方法已经很成熟,但可以说研究人员仍然很少使用。对于一些人来说,这可能是由于不熟悉或不同意贝叶斯推理范式。对其他人来说,一个促成因素是标准统计软件包无法进行这种贝叶斯分析。在本文中,我们首先给出了一个概述的贝叶斯方法来处理协变量测量误差,并将其与回归校准(RC),可以说是最常用的方法。然后,我们认为,为什么贝叶斯方法有一些统计优势相比,RC,并证明,实施贝叶斯方法通常是相当可行的分析。接下来,我们描述了密切相关的极大似然和多重插补方法,并解释了为什么我们认为贝叶斯方法通常是更可取的。然后,我们经验比较RC和贝叶斯方法,通过模拟研究的频率属性。贝叶斯方法的灵活性,以处理测量误差和缺失数据,然后说明通过分析数据从第三次全国健康和营养检查调查。
2016-03-20 stat.ME
Objective Bayesian Comparison of Order-Constrained Models in Contingency Tables
在社会和生物医学科学中,列联表中的测试通常涉及对单元概率参数的顺序限制。我们开发了客观的贝叶斯方法,用于在产品二项或多项抽样下观察时的顺序约束检验和模型比较。具体来说,我们考虑测试的单调顺序的参数对所有参数的平等。我们的策略以统一的方式结合了内在先验方法和包含先验方法,以计算贝叶斯因子和后验模型概率。我们的方法的性能进行了评估几个模拟研究和真实的数据集。
2018-10-23 stat.ME
Bayesian model selection on linear mixed-effects models for comparisons between multiple treatments and a control
我们提出了一种新的贝叶斯模型选择技术的线性混合效应模型比较多个治疗与控制。采用完全贝叶斯方法来估计边际纳入概率,该概率提供治疗和对照之间差异的直接测量,以及模型平均后验分布。缺省先验提出了结合领域知识的模型选择,并开发了一种有效的后验计算的组件式吉布斯采样器。我们证明了所提出的方法的基础上模拟数据和实验数据集从小鼠寿命和体重轨迹的纵向研究。
2015-09-24 stat.AP stat.ME
Generalized Bayesian Multidimensional Scaling and Model Comparison
Simon Fraser University(西蒙菲莎大学)
本文提出广义贝叶斯多维缩放方法,通过自适应退火序列蒙特卡洛算法提升模型比较的鲁棒性和计算效率。
2026-02-25 stat.ME
Thermodynamic assessment of probability distribution divergencies and Bayesian model comparison
在路径抽样的框架下,我们表明,概率分布的分歧,如的Bulloff信息,可以通过热力学积分估计。玻尔兹曼-吉布斯分布属于不同的哈密顿实现,以获得沿路径的回火过渡,连接在端点处的感兴趣的分布。在这个角度下,几何方法是可行的,它提示直觉,并有利于调整误差源。此外,还有贝叶斯模型评估的直接应用。现有的边际似然和贝叶斯因子估计在这里审查随着他们的垫脚石抽样类似物。提出了新的估计量,并介绍了使用复合路径。
2013-10-17 stat.ME
Bayesian Structure Learning in Undirected Gaussian Graphical Models: Literature Review with Empirical Comparison
本文综述并实证比较了无向高斯图模型中用于结构学习的多种贝叶斯方法,通过模拟研究评估其效能并展示真实数据集应用,为各层级研究者提供全面参考。
2024-07-29 stat.ME
Bayesian prediction for stochastic processes. Theory and applications
在本文中,我们采用贝叶斯的观点来预测真实的连续时间过程。给出了贝叶斯预测的两个等价定义,并研究了贝叶斯预测的一些性质:可容许性、预测充分性、无偏性、与有效预测的比较。讨论了连续和抽样情形下的泊松过程预测和Ornstein-Uhlenbeck过程预测。各种模拟说明与非贝叶斯预测的比较。
2013-12-28 math.ST stat.TH
Inferring Markov Chains: Bayesian Estimation, Model Comparison, Entropy Rate, and Out-of-class Modeling
马尔可夫链是描述时间或空间中的一维模式的自然且易于理解的工具。我们展示了如何推断$k$阶马尔可夫链,任意$k$,从有限的数据,通过应用贝叶斯方法的参数估计和模型阶数的选择。扩展现有的离散数据的多项式模型的结果,我们连接到统计力学通过信息理论(类型理论)技术的推断。我们建立了贝叶斯证据和分拆函数之间的直接关系,它允许直接计算的期望和方差的条件相对熵和源熵率。最后,我们介绍了一种新的方法,使用有限的数据大小缩放模型阶比较推断的结构的类外进程。
2007-03-24 math.DS math.ST stat.TH
Efficient prior sensitivity analysis for Bayesian model comparison
University College London (UCL)(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出了一种基于学习谐波均值估计器的高效方法,用于贝叶斯模型比较中的先验敏感性分析,显著降低了计算成本。
2026-01-21 astro-ph.CO astro-ph.IM stat.ME
Comparison of Bayesian Nonparametric Density Estimation Methods
在本文中,我们提出了一个非参数贝叶斯方法的Lindsey和惩罚高斯混合方法。我们比较这些方法与Dirichlet过程混合模型。我们的方法是一个贝叶斯非参数方法,而不仅仅是基于一个参数家庭的概率分布。因此,拟合的模型对模型误指定更稳健。此外,与贝叶斯方法,我们有我们感兴趣的参数的整个后验分布,它可以概括为通过可信区间,平均值,中位数,标准差,分位数等林赛,惩罚高斯混合物,和狄利克雷过程混合物的方法进行审查。通过马尔可夫链蒙特卡罗(MCMC)方法进行估计。惩罚高斯混合方法通过哈密顿蒙特卡罗(HMC)实现。我们表明,在一定的正则条件下,随着n的增加,后验分布的权重收敛到一个正态分布。仿真结果和数据分析报告。
2020-11-27 stat.ME
Modelling Competing Legal Arguments using Bayesian Model Comparison and Averaging
贝叶斯模型的法律论点通常旨在产生一个单一的综合模型,结合考虑中的每一个法律论点。这种结合的方法隐含地假设变量及其关系可以在没有任何矛盾或不一致的情况下被表示,并且在某种程度上对竞争性的论点叙述是有意义的。本文介绍了一种新的方法来比较和“平均”贝叶斯模型的法律论据,已建立独立的,并没有试图使他们一致的变量,因果假设或参数化。该方法涉及评估法律论据的竞争模式是否得到解释或预测在审判过程之前或期间发现的事实。在所采用的贝叶斯模型比较和平均框架中,那些被事实严重否定的模型被赋予较低的权重,作为模型可行性的衡量标准。这样一来,虽然允许有多种论证,但基于所有论证的单一判断是可能的和合理的。
2020-01-30 stat.AP
Comparison between Suitable Priors for Additive Bayesian Networks
加性贝叶斯网络是一种图形模型,它通过对基础变量的联合概率分布进行因子分解,将通常的贝叶斯广义线性模型扩展到多个因变量。在拟合ABN模型时,参数先验的选择至关重要。如果使用不充分的先验--如信息量太弱的先验--数据分离和数据稀疏会导致模型选择过程中的问题。在这项工作中,两个弱和一个强信息先验之间的模拟研究。作为弱信息先验,我们使用具有大方差的零均值高斯先验,目前在R包abn中实现。第二个先验属于学生t分布,专门为逻辑斯谛回归设计,最后,强信息先验再次是高斯分布,平均值等于真实参数值且方差较小。我们比较了这些先验知识对学习的加性贝叶斯网络在不同参数下的准确性的影响。我们创建了一个模拟研究来说明林德利的悖论的基础上的优先选择。然后,我们的结论是突出了良好的性能的信息学生的t先验和有限的影响林德利悖论。最后,对今后的发展提出了建议。
2018-09-18 stat.AP stat.ME stat.ML
Asymptotic comparison of two-stage selection procedures under quasi-Bayesian framework
本文回顾了Dudewicz和Dalal(1975)以及Rinott(1978)提出的方法,这些方法是为了在方差未知且可能不同的独立高斯总体中选择均值最高的总体而设计的。在之前的一篇论文中,Repubbovic和Zuk(2017)提出了一个猜想,即这些程序的相对渐近效率等于两个特定序列的比率。这项工作提出了一个准贝叶斯模型的问题下,这一猜想是有效的。此外,本文还提出了一个开放的问题,关于三角形阵列的独立学生-t随机变量的最大值的极值分布的自由度增加。
2018-12-27 math.ST stat.TH
Extending Bayesian analysis of circular data to comparison of multiple groups
圆形数据是以角度测量的数据,出现在各种科学学科中。贝叶斯方法承诺允许灵活分析循环数据。三个现有的MCMC方法(吉布斯,大都会黑斯廷斯,拒绝)的一组圆形数据被扩展到用于一个受试者之间的设计,提供了一个新的程序来比较组的圆形数据。通过仿真研究,发现所有方法都高估了后验集中参数,而覆盖率是合理的。剔除采样器表现最好。在未来的研究中,MCMC方法可能会扩展到包括协变量或受试者内设计。
2015-05-11 stat.CO
Extreme data compression for Bayesian model comparison
本文提出基于 MOPED 与得分压缩的极端数据压缩方法用于贝叶斯模型比较,证明线性高斯情形下贝叶斯因子保持不变,并在非线性与超新星数据中验证其近似无损且能降低证据抽样方差、节省计算时间。
2023-07-13 astro-ph.CO astro-ph.IM stat.ME
Comment on Vogels et al.'s (2024) "Bayesian Structure Learning in Undirected Gaussian Graphical Models: Literature Review with Empirical Comparison": An updated performance check using BGGM
评论指出 Vogels 等人比较中 BGGM 因先验包含概率设置不当(2/3 对其他方法 0.2)导致性能被低估,改用 0.2 后 BGGM 性能与其他贝叶斯方法相当。
2026-09-29 stat.ME
Leave-One-Out Cross-Validation for Bayesian Model Comparison in Large Data
最近,新的模型评估方法,基于二次抽样和后验近似,已被提出用于缩放留一交叉验证(LOO)到大数据集。虽然这些方法在估计单个模型的预测性能方面效果很好,但在模型比较中功能较弱。我们提出了一种有效的方法,通过结合快速近似LOO代理人与精确LOO子采样使用的差异估计器和供应的缩放特性方面的证据来估计预测性能的差异。由此产生的方法可以比以前的方法更有效的数量级,以及更适合于模型比较。
2020-01-03 stat.ME
Bayesian Analysis of Multiway Tables in Association Studies: A Model Comparison Approach
本文研究了多路表未知量的统计推断问题。我们表明,这样的多向表自然形成的回归系数安排在复杂的系统中的线性模型的关联分析。在遗传学和基因组学中,由此产生的双向和三向表涵盖了许多重要的应用。在贝叶斯层次模型框架内,我们通过先验规范定义了多路表的结构。着重于模型的比较和选择,我们推导了贝叶斯因子及其近似的解析表达式,并讨论了它们的理论和计算性质。最后,我们证明了我们的方法使用的基因组应用映射组织特异性eQTL(表达定量位点)的强度。
2013-09-05 stat.AP stat.ME
JAGS, NIMBLE, Stan: a detailed comparison among Bayesian MCMC software
本文的目的是比较JAGS、NIMBLE和Stan三种流行的软件平台的性能。这些概率编程语言能够使用MCMC算法从贝叶斯模型的规范(即,可能性和先验)开始,从感兴趣的后验分布自动生成样本。最终目标是向统计学家或应用科学家详细分析它们的优缺点。通过这种方式,我们希望有助于使他们充分认识到这个软件的优点和缺点。我们进行了系统的比较,这三个平台上广泛的一类模型,先验分布,和数据生成机制。我们广泛的模拟研究评估了MCMC链的质量,软件的效率和输出的拟合优度。我们还考虑了三个平台的并行化的效率。
2021-07-20 stat.AP stat.CO
A Bayesian Mallows approach to non-transitive pair comparison data: how human are sounds?
我们感兴趣的是了解听众如何将声音感知为具有人类起源。使用一系列电子合成的声音进行了一项实验,并要求听众成对比较它们。我们提出了一种贝叶斯概率方法,从非传递的成对比较数据中学习个人偏好,当数据中的一个(或多个)个人偏好与其他人所暗示的相矛盾时,就会发生这种情况。我们建立了一个贝叶斯马洛斯模型,以处理非传递性数据,与潜在的不确定性层,捕获的偏好误报的生成。然后,我们开发了一个混合扩展的马洛模型,能够学习个人偏好在一个异质性的人口。我们对音乐学实验的分析结果对电声作曲家和声音设计师以及音频行业都很感兴趣,他们的目的是了解如何产生计算机生成的声音,以便听起来更人性化。
2018-08-31 stat.AP
Bayesian model comparison with un-normalised likelihoods
在计算机科学、统计物理学、空间统计学和网络分析中广泛使用的模型,其似然函数只能被评估到一个依赖于参数的未知归一化常数,如马尔可夫随机场模型。然而,由于这些模型的似然函数的复杂性,使用标准蒙特卡罗方法对这些模型进行贝叶斯分析是不可能的。最近开发了几种允许精确或接近精确的后验分布模拟的方法。然而,估计这些模型的证据和贝叶斯因子(BF)仍然具有挑战性。本文介绍了新的随机权重重要性抽样和序贯蒙特卡罗方法估计BF使用模拟,以规避评价的棘手的可能性,并比较它们与现有的方法。在某些情况下,我们观察到使用有偏权重估计的优势。这类方法的理论和经验性质的初步调查。使用有偏估计的一些支持,但我们主张谨慎使用这种估计。
2016-01-20 physics.data-an stat.CO stat.ME
Bayesian models for survival data of clinical trials: Comparison of implementations using R software
目的:为使用比例风险模型对具有生存终点的随机临床试验进行事后贝叶斯分析提供R中可用主要函数的使用指南。研究设计和设置:数据来源于ALLOZARGO试验,该试验对465例接受同种异体移植以预防肺部并发症的患者进行,并在阿奇霉素和安慰剂之间进行分配;随机化后2年的无气流下降生存率是主要终点。结果如下:尽管建模假设存在异质性,特别是基线风险(参数或非参数)和估计方法,但阿奇霉素效应的贝叶斯后验平均风险比(HR)估计值接近于通过极大似然方法获得的估计值。结论:贝叶斯模型可以使用各种R软件包实现,提供与最大似然估计密切一致的结果。这些模型提供了不可能以其他方式获得的概率陈述。
2019-09-09 stat.AP stat.CO
Nonparametric Bayesian Approach to Treatment Ranking in Network Meta-Analysis with Application to Comparisons of Antidepressants
网络荟萃分析是一种强大的工具,可以综合独立研究的证据,同时比较多种治疗方法。进行网络荟萃分析的一项关键任务是为特定疾病结局提供所有可用治疗方案的排名。通常情况下,估计的治疗排名伴随着大量的不确定性,遭受多重性问题,很少允许的关系。这些问题使得解释排名成为问题,因为它们通常被视为绝对指标。为了解决这些缺点,我们制定了一个排名策略,通过产生更保守的结果,以适应高阶不确定性的情况。这提高了可解释性,同时考虑到多重比较。为了承认处理效应之间的联系,我们还开发了贝叶斯非参数网络荟萃分析方法。该方法利用贝叶斯非参数方法的诱导聚类机制,产生两个处理效应相等的正概率。我们通过数值实验和旨在研究抗抑郁治疗的网络荟萃分析证明了该程序的实用性。
2022-07-13 stat.ME
Bayesian MISE convergence rates of Polya urn based density estimators: asymptotic comparisons and choice of prior parameters
混合模型以其通用性而闻名,贝叶斯范式是混合分析的合适平台,特别是当组分数量未知时。Bhattacharya(2008)介绍了一种基于狄利克雷过程的混合模型,其中需要指定组分的未知数的上界。在这里,我们考虑一个贝叶斯渐近框架,客观地指定的上界,我们假设依赖于样本量。特别是,我们定义了一个贝叶斯模拟的平均积分平方误差(贝叶斯MISE),并选择该形式的上界,以及该形式的精度参数的基础狄利克雷过程,贝叶斯MISE的一个特定的密度估计,这是一个合适的修改的Polya-urn基于先验预测模型,收敛在所需的速率。作为我们方法的副产品,我们研究了传统Dirichlet过程混合模型精度参数的渐近选择;我们在这里考虑的密度估计是Escobar & West(1995)与Polya瓮模型相关的先验预测分布的修改。与上述两种混合物有关的各种渐近问题,包括比较性能,也进行了研究。
2018-11-13 math.ST stat.TH
Systematic comparison of Bayesian basket trial designs with unequal sample sizes and proposal of a new method based on power priors
本研究针对篮子试验中各篮子样本量不等的问题,系统比较五种贝叶斯篮子试验设计,发现限制共享信息可提升稳健性,结合power prior方法实现了最优的治疗效应检测性能。
2024-09-16 stat.ME
A comparison of score-based methods for estimating Bayesian networks using the Kullback-Leibler divergence
在本文中,我们比较了两种方法的性能估计贝叶斯网络的数据包含外生变量和随机效应。第一种方法是完全贝叶斯的先验分布是放置在外生变量,而第二种方法,我们称之为残差法,占外生变量的影响,通过使用限制极大似然的概念。我们回顾了这两个基于分数的指标,然后通过测量两个后验密度函数之间的库尔贝克-莱布勒散度或距离来研究它们的性能。库尔贝克-莱布勒散度为比较分布提供了一个自然的框架。残差的方法是相当简单的应用在实践中,我们证明了它的实用性,理论上和通过模拟。特别是,在应用程序中的外生变量是不是主要的利益,我们表明,潜在的损失的相关性的参数和诱导组件的信息,一般是小的。
2011-12-01 stat.ME
Surrogate-based Bayesian Comparison of Computationally Expensive Models: Application to Microbially Induced Calcite Precipitation
地下储层中受微生物活动影响的地球化学过程改变了多孔介质的物质性质。这是一个复杂的地下油藏地球化学过程,目前包含很强的概念不确定性。这意味着,几种描述地球化学过程的建模方法是合理的,建模者面临着选择最合适的方法的不确定性。一旦获得观测数据,就可以进行严格的贝叶斯模型选择,并进行贝叶斯模型可验证性分析,以选择最合适的模型,即根据现有数据最好地描述基本物理过程的模型。然而,地球化学模拟是非常苛刻的计算,因为它概念化不同的阶段,生物量动态,地球化学,沉淀和溶解在多孔介质中。因此,贝叶斯框架不能直接基于完整的计算模型,因为这将需要太多昂贵的模型评估。为了避免这个问题,我们建议进行贝叶斯模型选择和可扩展性分析后,构建替代竞争的地球化学模型。在这里,我们使用任意多项式混沌展开。我们考虑到贝叶斯分析中的近似误差,通过引入新的校正因子,得到的模型权重。因此,我们扩展了贝叶斯可验证性分析,并评估计算昂贵的模型的模型相似性。我们证明了微生物引起的方解石沉淀在多孔介质中的一个代表性的情况下的方法。我们的扩展的可扩展性分析提供了一个合适的方法,计算要求高的模型进行比较,并提供了一个可靠的模型性能的必要的数据量的见解。
2020-11-25 stat.AP