Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们介绍了一种方法,KL-LIME,用于解释贝叶斯预测模型的预测,通过将预测分布中的信息局部投影到一个更简单,可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理(LIME)方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
Understanding predictive information criteria for Bayesian models
我们审查赤池,偏差,渡边赤池信息标准从贝叶斯的角度来看,其目标是估计预期的样本预测误差使用偏差校正调整样本内误差。我们专注于在建立这些措施所涉及的选择,我们比较他们在三个简单的例子,一个理论和两个应用。这篇评论的贡献是把所有这些信息标准到贝叶斯预测的背景下,并更好地理解,通过小的例子,这些方法可以在实践中应用。
2013-07-23 stat.ME
Comment: Bayesian Checking of the Second Level of Hierarchical Models: Cross-Validated Posterior Predictive Checks Using Discrepancy Measures
注释:分层模型第二水平的贝叶斯检验[arXiv:0802.0743]
2008-02-06 stat.ME
Distribution-Free Bayesian multivariate predictive inference
本文提出基于有限Polya树混合的分层贝叶斯框架进行无分布多元预测推断,并设计共形预测集算法为未来观测提供有限样本概率保证。
2024-11-26 stat.ME
On the Improvement of Predictive Modeling Using Bayesian Stacking and Posterior Predictive Checking
本文提出将后验预测检验纳入贝叶斯堆叠的预测建模工作流,并基于 PISA 2018 数据分析阅读能力的性别与社会经济不平等。
2024-02-29 stat.ME
Bayesian Spatial Predictive Synthesis
针对空间数据模型误设和异质性,提出贝叶斯空间预测综合方法,通过潜在因子空间变化系数模型综合多个预测,实现精确最小最大化预测,并在模拟和真实数据中优于现有方法。
2025-01-25 stat.ME stat.ML
Graphical posterior predictive classifier: Bayesian model averaging with particle Gibbs
在这项研究中,我们提出了一个多类的图形贝叶斯预测分类器,将不确定性的模型选择到标准的贝叶斯形式主义。对于每个类,所观察到的功能的依赖结构表示由一组可分解的高斯图形模型。然后重点放在贝叶斯模型平均,充分考虑到类特定的模型的不确定性,平均后验图模型的概率。众所周知,对模型概率的明确评估是不可行的。为了解决这个问题,我们考虑Olsson等人的粒子Gibbs策略。(2018 b)用于可分解图形模型的后验采样,该模型利用Olsson等人的圣诞树算法。(2018 a)作为建议内核。我们还推导出一个强大的超马尔可夫定律,我们称之为超正常Wishart法,允许进行贝叶斯计算本地。所提出的预测图形分类器显示出优越的性能相比,普通的贝叶斯预测规则,不考虑模型的不确定性,以及一些开箱即用的分类器。
2018-06-06 stat.ML
Bayesian predictive densities as an interpretation of a class of Skew--Student $t$ distributions with application to medical data
本文给出了一类偏态分布--Student $t$分布的一种新的贝叶斯解释。本文考虑了协方差阵未知的分层正态模型,通过对参数空间施加不同的限制,证明了在Kullback-Leibler损失函数下相应的Bayes预测密度估计包含了一些著名的偏Student $t$分布.我们发现,所获得的估计执行更好的频率风险函数的定期贝叶斯预测密度估计。我们应用我们提出的方法来估计未来的医疗数据密度:腿长差异和运动对儿童开始走路的年龄的影响。
2018-05-24 stat.ME
Bayesian Predictive Decision Synthesis
该研究提出贝叶斯预测决策综合(BPDS)方法,以决策导向视角拓展模型不确定性研究,通过新颖的主观贝叶斯模型加权视角,将决策分析结果整合到多模型评估比较中,并在回归设计、金融预测等场景验证了有效性。
2023-05-05 math.ST stat.ME stat.TH
Using stacking to average Bayesian predictive distributions
广泛推荐的贝叶斯模型平均化过程在M开放设置中存在缺陷,在该设置中,真实的数据生成过程不是被拟合的候选模型之一。我们从点估计文献中提取堆叠的思想,并推广到预测分布的组合,将效用函数扩展到任何合适的评分规则,使用Pareto平滑重要性抽样来有效地计算所需的留一后验后验分布,并进行正则化以获得更大的稳定性。我们比较堆叠的预测分布的几个替代方案:堆叠的手段,贝叶斯模型平均(BMA),伪BMA使用AIC型加权,和一个变种的伪BMA是稳定的使用贝叶斯引导。基于模拟和实际数据应用,我们建议叠加预测分布,当计算成本成为问题时,BB-伪BMA作为近似替代方案。
2017-09-16 stat.CO stat.ME
Predictive-Context LOO: Bayesian Model Comparison with Pretrained Predictive Learners
KAUST(阿卜杜拉国王科技大学)
本研究提出PC-LOO方法,通过后验预测模拟连接贝叶斯模型与预训练预测学习器,实现高效可扩展的贝叶斯模型比较,实验验证其在减少上下文规模时仍保持较高精度。
2026-10-12 stat.ME
Asymptotically minimax Bayesian predictive densities for multinomial models
考虑了多项模型的一步预测。预测密度的性能通过从真实密度到预测密度的平均Kullback-Leibler散度来评估。得到了基于Dirichlet先验的贝叶斯预测密度的风险函数的渐近逼近。证明了基于特定Dirichlet先验的贝叶斯预测密度是渐近极小极大的。渐近极大极小先验不同于已知的客观先验,如Jeffreys先验或一致先验。
2011-12-05 math.ST stat.TH
Bayesian Predictive Synthesis with Outcome-Dependent Pools
本文研究贝叶斯预测合成(BPS)方法,聚焦结果依赖型模型混合框架,提出动态BPS新方法并通过金融时间序列分析验证,拓展了多模型预测密度融合的理论与应用。
2023-05-03 stat.ME
Regularizing Bayesian Predictive Regressions
我们表明,正则化贝叶斯预测回归提供了一个框架,事先敏感性分析。我们开发了一个程序,联合正则化的期望和方差-协方差阵使用一对收缩先验。我们的方法直接适用于向量自回归(VAR)和看似无关回归(SUR)。正则化路径提供先验灵敏度诊断。通过利用正则化惩罚和预测先验分布之间的二元性,我们重新解释了宏观金融研究的两个经典贝叶斯分析:股票溢价可预测性和预测宏观经济增长率。我们发现,存在合理的先验规范的可预测性超过标准普尔500指数收益率使用账面市值比,CAY(消费,财富,收入比),和国库券利率。我们使用市场时机策略评估预测,我们表明最佳正则化的解决方案优于买入并持有的方法。第二个实证应用涉及预测工业生产,通货膨胀和消费增长率,并证明了我们的方法的可行性。
2017-09-13 stat.ME
Integrating Bayesian methods with neural network--based model predictive control: a review
Department of Mechanical and Industrial Engineering, Norwegian University of Science and Technology(机械与工业工程系,挪威科学技术大学)
本综述评估贝叶斯方法在基于神经网络的模型预测控制中的应用,指出当前性能提升证据零散、基线不一致,主张通过标准化基准和消融研究严格验证其有效性。
2025-10-06 cs.AI stat.ML
Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?
University of Chicago(芝加哥大学);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
虽然不确定性估计是深度学习中一个研究得很好的主题,但大多数此类工作都集中在边际不确定性估计上,即各个输入位置的预测均值和方差。但是,估计不同输入位置处的函数值之间的预测相关性通常更有用。在本文中,我们考虑的问题,基准如何准确贝叶斯模型可以估计预测相关性。我们首先考虑一个依赖于后验预测相关性的下游任务:转导主动学习(TAL)。我们发现TAL比普通的主动学习更好地利用了模型的不确定性估计,并推荐将其作为评估贝叶斯模型的基准。由于TAL太昂贵和间接的指导算法的开发,我们引入了两个指标,更直接地评估预测相关性,可以有效地计算:元相关性(即模型相关性估计和真实值之间的相关性),和交叉归一化似然(XLL)。我们通过证明它们与TAL性能的一致性来验证这些指标,并了解当前贝叶斯神经网络和高斯过程模型的相对性能。
2021-03-01 cs.LG stat.ML
Efficient Bayesian Deep Ensembles via Analytic Predictive Inference
Wm Michael Barnes ’64 Department of Industrial and Systems Engineering(工业与系统工程系)
该研究提出一种高效贝叶斯深度集成方法用于预测回归,结合贝叶斯推理与深度集成优势。通过低维集成表示、闭式贝叶斯聚合和独立集成训练三个关键组件,在保持可靠不确定性估计时实现了有竞争力的预测性能。
2026-07-09 cs.LG stat.ME
On the design distribution for predictive Bayesian regression
University of Hong Kong(香港大学)
研究预测贝叶斯回归中设计分布对推断的影响,提出满足可识别性和设计不变性的参数鞅后验方法,适用于高维回归。
2026-06-15 math.ST stat.ME stat.TH
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford(牛津大学)
当我们只关注边际预测分布(边际预测)时,原则贝叶斯深度学习(BDL)并没有发挥出它的潜力。最近的工作突出了联合预测(贝叶斯)顺序决策的重要性,从理论和合成的角度。我们提供了更多的实际论据,立足于现实世界的应用,专注于联合预测:我们讨论在线贝叶斯推理,这将使我们能够作出预测,同时考虑到额外的数据,而无需再培训,我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测,他们各自的交叉熵,以及他们在离线和在线学习的地方。它们比以前建议的更现实,建立在Wen等人的工作基础上。(2021)和Osband等人。(2022),并专注于评估在线监督环境中近似BNN的性能。然而,最初的实验,这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题,我们建议的实验,可能有助于进一步阐明这些问题的实用性,目前的研究。重要的是,我们的工作突出了当前研究中以前未发现的差距,以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Implementing Bayesian predictive procedures: The K-prime and K-square distributions
标准正态模型下的贝叶斯预测程序的实施。有两个分布是特别有趣的,K-素数和K-平方分布。它们也给出了简单和多重相关系数的精确推论。它们的累积分布函数可以用不完全贝塔函数比的无穷级数表示,因而适于递归计算。提供了有效的算法。为了处理特殊情况下,可能的下溢可能会阻止正常工作的复发,提出了一个简单的解决方案,导致在两类算法之间的过程。给出了一些应用实例。
2010-03-25 stat.ME
Conformal Bayesian Computation
我们开发了可扩展的方法来产生保形贝叶斯预测区间有限样本校准保证。贝叶斯后验预测分布($p(y \mid x)$)表征对感兴趣结果($y$)的主观信念,条件是预测因子($x$)。当模型为真时,贝叶斯预测得到了很好的校准,但在所谓的${\cal{M}}$ -开放视角下,当模型被错误指定时,预测区间可能表现出较差的经验覆盖率。与此相反,共形推理提供有限样本频率保证预测置信区间,而不需要模型的保真度。使用“加一”重要性抽样,我们证明了共形贝叶斯预测区间是有效地从重新加权后验样本的模型参数。我们的方法与现有的共形方法,需要昂贵的改装模型或数据分裂,以实现计算效率。我们展示了一系列的例子,包括扩展部分可交换的设置,如分层模型的实用程序。
2021-06-14 stat.CO stat.ME
Bayesian Predictive Inference For Finite Population Quantities Under Informative Sampling
我们研究贝叶斯预测推理有限的人口数量时,有不平等的选择概率。关于样本设计的信息有限;即,只有对应于采样单元的一阶选择概率是已知的。与Chambers,Dorfman和Wang(1998)的方法不同,我们的方法可用于对有限总体数量进行推断,并提供精度和区间的度量。此外,我们的方法,使用马尔可夫链蒙特卡罗方法,避免了使用渐近封闭形式的近似,必要的其他方法,已提出。一组模拟的例子表明,信息模型提供了一个标准的可扩展模型的精度提高,并纠正选择偏差。
2018-04-09 stat.ME
Robust Bayesian Predictive Model Selection using Bregman Divergence
Harvard University(哈佛大学);University of Connecticut(康涅狄格大学)
针对基于对数得分的ELPD对异常值和尾部不匹配敏感的问题,提出基于Bregman散度的广义ELPD框架,通过β-散度族控制低密度观测影响,实现稳健模型选择。
2026-06-09 stat.ME
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique(巴黎综合理工学院CMAP实验室)
本文通过将逐点风险分解为偶然不确定性与认知不确定性,并结合贝叶斯近似,提出可生成多种预测不确定性度量的框架,且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
Bayesian Nonparametric Calibration and Combination of Predictive Distributions
我们介绍了贝叶斯方法预测密度校准和组合,占参数的不确定性和模型集的不完整性,通过使用随机校准泛函和随机组合权重。在Ranjan,R.和Gneiting,T.(2010)和Gneiting,T.和Ranjan,R.(2013),我们使用无限beta混合物进行校准。所提出的贝叶斯非参数方法利用Dirichlet过程混合物的灵活性来实现线性组合预测分布的任何连续变形。推理过程是基于吉布斯抽样,并允许占混合物组分,混合物重量,和校准参数的数量的不确定性。在适当的条件下,给出了真密度未知时贝叶斯非参数校正的弱后验一致性。我们研究的方法,在模拟的例子与肥尾和多模态密度,并将其应用于密度预测的每日标准普尔回报和每日最大风速在法兰克福机场。
2016-10-25 stat.AP stat.ME
Bayesian Forecast Combination with Predictive Priors via Particle Filtering
本文提出带预测先验的贝叶斯预测组合框架,首次将前瞻性信号嵌入时变权重更新,以模型多样性为信号实现DTVW方法,通过模拟与实证验证其预测准确性优于TVW等基准,还能提供模型诊断见解。
2025-08-24 stat.ME
Big Batch Bayesian Active Learning by Considering Predictive Probabilities
AstraZeneca(阿斯利康);University of Bristol(布里斯托尔大学);Lancaster University(兰卡斯特大学)
针对BatchBALD采集函数混淆两类不确定性导致性能不佳的问题,提出基于仅含认知不确定性的预测概率的批量贝叶斯主动学习采集函数,兼具更优性能与更快评估速度,可支持更大批量。
2025-01-14 cs.LG stat.ML
On convergence rates of Bayesian predictive densities and posterior distributions
贝叶斯后验分布的频率型大样本性质,如一致性和收敛速度,在非参数问题中是重要的考虑因素。在本文中,我们给出了贝叶斯渐近分析的基础上,主要是预测密度。我们的分析是统一的,在这个意义上,基本上可以采取相同的方法来开发收敛速度的结果在iid,错误指定的iid,独立的非iid,和依赖的数据情况。
2012-09-29 math.ST stat.TH
Uncertainty Decomposition for Bayes-Filtered Transformers via Bayesian Predictive Inference
Bocconi University(博科尼大学);Monash University(墨尔本大学);University of Oxford(牛津大学)
本文提出在TabPFN中进行不确定性分解的原理框架,通过贝叶斯预测推断方法,推导出基于预测更新波动性的方差估计器,并实现快速计算的可信区间,同时针对分类任务提出基于熵的不确定性分解方法。
2026-07-21 cs.LG stat.ME stat.ML
Evasion Attacks Against Bayesian Predictive Models
Inst. Math. Sciences, Spanish Nat. Research Council(数学科学研究所,西班牙国家研究理事会);Universidad Autónoma de Madrid, Escuela de Doctorado(马德里自治大学,博士学院);CUNEF Universidad Madrid, Spain(CUNEF马德里大学,西班牙)
针对贝叶斯预测模型对抗攻击脆弱性研究不足的问题,本文提出了设计最优规避攻击的通用方法,针对两类对抗目标提出基于梯度的新型攻击并分析其在不同计算设置下的特性。
2025-06-11 cs.LG stat.ML
Bayesian Predictive Densities Based on Latent Information Priors
从预测的角度研究先验密度的构造方法。利用观测数据构造了未来观测量的预测密度。假设未来观测量和观测数据的同时分布属于多项式模型的参数子模型。未来的观测数据和数据可能是依赖的。用Kullback-Leibler散度来评价给定观测数据的预测密度与未来观测量的真实条件密度的差异。证明了贝叶斯预测密度的极限构成一个本质完全类。潜在信息先验被定义为最大化给定观测数据的参数和未来观测量之间的条件互信息的先验。极小极大预测密度被构造为贝叶斯预测密度的极限,基于收敛到潜在信息先验的先验序列。
2010-09-26 math.ST stat.TH
Bayesian Conformal Prediction via the Bayesian Bootstrap
针对贝叶斯方法预测区间频率派校准效果差的问题,提出基于影响函数贝叶斯自助法、数据驱动调优狄利克雷参数α的贝叶斯共形方法,可构建校准性好且锐利的预测区间与分布,性能优于标准贝叶斯后验,且实现简便灵活。
2025-08-02 math.ST stat.ME stat.TH
Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection
高斯图形模型用于确定变量之间的条件关系。这是通过识别逆协方差阵中非零的非对角元素来实现的。当变量(p)与观测值(n)之比接近1时,协方差阵的极大似然估计量变得不稳定,需要收缩估计。虽然已经引入了几种经典(频率论)方法来解决这个问题,但完全贝叶斯方法在实践和方法学文献中仍然相对罕见。在这里,我们介绍了一种估计稀疏矩阵的贝叶斯方法,其中的条件关系确定与投影预测选择。该方法利用库尔贝克-莱布勒散度和交叉验证进行邻域选择,在低维和高维环境下重建逆协方差阵。通过模拟和应用示例,我们将性能与几种贝叶斯方法和图形套索以及TIGER进行了比较,TIGER类似地使用回归估计逆协方差阵。我们的研究结果表明,投影预测选择不仅具有优越的性能相比,选择最可能的模型和贝叶斯模型平均,特别是对于高维数据,而且相比贝叶斯和经典glasso方法。此外,我们表明,估计逆协方差阵与多元回归往往是更准确的,相对于各种损失函数,和效率比直接估计。在低维环境中,我们证明了投影预测选择也提供了有竞争力的性能。我们在R软件包GGMprojpred中实现了协方差选择的投影预测方法
2018-08-04 stat.AP stat.ME
Sample size re-estimation in Phase 2 Dose-Finding: Conditional power vs. Bayesian predictive power
当真实处理效应存在较大不确定性时,在临床试验中通常计划进行揭盲样本量重新估计(SSR)。对于II期剂量探索研究中的概念验证(Proof-of-Concept,缩写为CET),可以采用对比检验来利用所有治疗组的信息。在这篇文章中,我们提出了两个阶段的SSR设计,使用频率论的条件功率和贝叶斯后验预测功率的单对比和多对比测试。贝叶斯SSR可以在广泛的先验设置下实现,以结合不同的先验知识。考虑到自适应性,本文对最终分析的所有第一类错误都进行了严格的保护。模拟研究表明,非盲SSR在多臂试验中的优势。
2022-11-10 stat.AP stat.ME
Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples
在本文中,我们处理负多项式变量的估计和预测问题,特别是考虑不平衡的设置。首先,在标准化平方误差损失下,讨论了多个负多项式参数向量的估计问题,在适当的条件下,得到了一个新的优于UMVU估计的经验Bayes估计。其次,我们考虑了Kullback-Leibler发散下多个多项式表的联合预测密度的估计,得到了关于分层收缩先验的贝叶斯预测密度优于关于Jeffreys先验的贝叶斯预测密度的一个充分条件.第三,我们提出的贝叶斯估计和预测密度在模拟中提供了风险改善。最后讨论了负多项式变量的联合预测密度的估计问题。
2021-11-19 math.ST stat.ME stat.TH
On Bayesian Estimation of Densities and Sampling Distributions: the Posterior Predictive Distribution as the Bayes Estimator
本文给出了两个突出的贝叶斯估计问题的最优性结果:平方全变差函数的抽样分布估计和$L^1$ -平方损失函数的密度估计.后验预测分布为这些问题提供了解决方案。文中给出了一些例子,并讨论了分布函数的贝叶斯估计问题。证明了密度估计的相合性。
2021-08-21 math.ST stat.TH
Concentration and Calibration in Predictive Bayesian Inference
本文探讨了预测贝叶斯推断中后验分布的集中性和校准问题,指出预测模型的准确性直接影响推断结果的可靠性,强调预测模型必须准确捕捉数据生成过程以确保校准。
2026-10-07 math.ST stat.ME stat.ML
Shrinkage priors for Bayesian prediction
我们研究收缩先验构造贝叶斯预测分布。证明了当模型流形满足一定的微分几何条件时,基于Jeffreys先验或其它Vague先验,存在收缩预测分布渐近优于贝叶斯预测分布.从真实分布到预测分布的Kullback-Leibler偏差被采用作为损失函数。引入了模型流形对应于Vague先验的共形变换。我们展示了几个例子,收缩预测分布占主导地位的贝叶斯预测分布的基础上模糊的先验。
2006-07-01 math.ST stat.TH
Design-marginal calibration of Gaussian process predictive distributions: Bayesian and conformal approaches
Transvalor S.A.;Univ. Paris-Saclay(巴黎-萨克雷大学);CNRS(国家科学研究中心);CentraleSupélec(中央超导大学);L2S(L2S实验室)
本文提出两种高斯过程预测分布的校准方法,通过改进的符合预测系统和广义正态模型,提升预测分布的准确性和稳定性。
2025-12-05 cs.LG stat.ME stat.ML
Strategic decision points in experiments: A predictive Bayesian optional stopping method
本文提出预测性贝叶斯可选停止方法(pBOS),结合预演模拟预测未来数据,在资源约束下动态决定实验停止时机,成本效益较传统BOS提升118%,优化了资源利用。
2025-03-02 stat.AP stat.ME
Harmonic Bayesian prediction under alpha-divergence
我们研究贝叶斯收缩方法构建预测分布。我们考虑多元正态模型与已知的协方差阵,并表明贝叶斯预测密度相对于Stein的调和先验占主导地位的最佳不变贝叶斯预测密度,当维数是大于3。从真实分布到预测分布的α-发散被采用作为损失函数。
2017-07-28 math.ST stat.TH
Approximating Cross-validatory Predictive Evaluation in Bayesian Latent Variables Models with Integrated IS and WAIC
近似样本外预测评估的一种自然方法是留一交叉验证(LOOCV)--我们交替地从完整的数据集中保留每个案例,然后使用马尔可夫链蒙特卡罗(MCMC)训练贝叶斯模型,而不保留;最后我们用实际观察值评估所有案例的后验预测分布。然而,实际的LOOCV是耗时的。本文介绍了两种方法,即iIS和iWAIC,近似LOOCV只有马尔可夫链样本模拟的后验的基础上\textit{full}数据集。iIS和iWAIC旨在改进潜在变量可能相关的贝叶斯模型中由重要性抽样(IS)和WAIC给出的近似。在iIS和iWAIC中,我们首先将预测密度整合到与被拒者相关的潜变量的分布上,而不参考其观察结果,然后将IS和WAIC近似应用于整合的预测密度。我们比较了iIS和iWAIC与其他近似方法在三个实际数据的例子,分别使用混合模型,模型与相关的空间效应,和随机效应Logistic模型。我们的实证结果表明,iIS和iWAIC提供了更好的近似比非集成的IS和WAIC和其他方法。
2015-01-15 stat.ME
Nearly minimax empirical Bayesian prediction of independent Poisson observables
本研究提出一类经验贝叶斯预测分布,用于独立泊松观测量,在K-L损失下优于Jeffreys先验贝叶斯预测,且风险小于极小极大下界的1.04倍。
2023-12-03 math.ST stat.TH
Computing Bayesian predictive distributions: The K-square and K-prime distributions
考虑了两个离散混合不完全β函数的贝叶斯预测分布的计算问题。对于这些分布,迭代次数很容易变得很大,因此结果的准确性可能是有问题的。因此,现有的算法,这类混合物的改进,通过引入舍入误差计算的停止规则。提出了另一个简单的修改,以处理可能会阻止正常工作的复发的可能下溢。
2006-11-14 math.ST stat.TH
Exchangeability, prediction and predictive modeling in Bayesian statistics
本文综述了贝叶斯预测方法的基础概念,重点阐述可交换与部分可交换情形下的预测建模,揭示贝叶斯预测规则作为概率学习规则的本质,并探讨其为数据科学预测算法提供不确定性量化的新方向。
2024-11-21 math.ST stat.TH
Bayesian Predictive Inference Beyond Martingales
Lancaster University(兰卡斯特大学);Universitat Pompeu Fabra(庞培法布拉大学);Barcelona School of Economics(巴塞罗那经济学院)
本文提出几乎条件同分布(a.c.i.d.)随机变量,将预测分布从测度值鞅放宽至几乎超鞅,并证明在参数可求和条件下观测序列渐近可交换,从而扩展贝叶斯预测推断的适用范围。
2026-10-27 math.ST stat.ME stat.TH
Bayesian clustering using random effects models and predictive projections
线性混合模型广泛用于分析涉及缺失和不平衡研究设计的分层结构数据。我们考虑一个贝叶斯聚类方法,结合线性混合模型和预测预测。对于每个观测,我们考虑一个预测性重复,其中只有一个随机效应子集在观测和其重复之间共享,其余部分使用条件先验进行积分。然后定义预测投影,其中共享随机效应所取的不同值的数量是有限的,以获得不同的聚类。整合出一些随机效应充当噪声过滤器,允许聚类仅集中于数据的某些选定特征。该方法的灵感来自贝叶斯模型检查的方法,其中模拟数据复制从拟合模型用于模型的批评,通过检查它们的相似性,以相关的方式观察到的数据。在这里,预测重复用于以相关方式定义观测之间的相似性以进行聚类。为了说明我们的方法在不同尺度上揭示数据方面的方式,我们考虑使用傅立叶余弦基拟合纵向数据的时间趋势,每个基函数具有随机效应,以及由低频或高频项的重复的共享随机效应定义的不同聚类。该方法在一系列的实际例子证明。
2021-07-06 stat.ME
Predictive variational inference: Learn the predictively optimal posterior distribution
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Department of Statistics and Data Sciences, University of Texas, Austin(德克萨斯大学奥斯汀分校统计与数据科学系)
提出预测变分推断(PVI)框架,通过优化后验分布使预测分布逼近真实数据生成过程,解决模型误设问题,并实现自动模型诊断。
2026-06-24 cs.LG stat.ME stat.ML
Admissibility of a posterior predictive decision rule
近几十年来,人们对贝叶斯方法被广泛使用的预测问题产生了兴趣。从贝叶斯模型中的后验预测分布中采样或近似,允许人们对给定观测数据的潜在可观测随机量进行推断。本说明的目的是使用统计决策论作为基础来证明使用后验预测分布进行点预测的合理性。
2017-09-09 stat.ML
Discussion on Using Stacking to Average Bayesian Predictive Distributions by Yao et al
首先,我总结了正在讨论的文件的主要思想。然后我将谈论图形建模的观点、后验收缩率和其他聚合方法。此外,我还将讨论堆叠方法在其他问题上的可能应用,特别是在分布式计算中聚集(子)后验分布。
2018-06-27 stat.OT
Focused Bayesian Prediction
我们提出了一种新的方法进行贝叶斯预测,提供准确的预测,而不正确地指定未知的真实数据生成过程。先验定义了一类合理的预测模型。在观察数据之后,我们通过一个标准来更新这些模型的先验知识,该标准捕获了用户指定的预测准确性度量。在规则性下,这种更新将后验集中产生到预测类的元素上,从而最大化准确性度量的期望。在一系列的模拟实验和经验的例子,我们发现显着的收益相对于传统的基于似然预测的预测精度。
2020-08-21 econ.GN q-fin.EC stat.AP
Predictive Entropy Search for Bayesian Optimization with Unknown Constraints
未知的约束条件出现在许多类型的昂贵的黑盒优化问题。基于期望改进(EI)启发式算法,近年来提出了几种带约束的贝叶斯优化方法。然而,EI可能会导致病态时,使用的约束。例如,在解耦约束的情况下,即,当一个人可以独立地评估目标或限制时-EI可能会遇到阻止探索的病理学。此外,计算EI需要一个当前最佳解,如果到目前为止收集的数据都不满足约束条件,则该最佳解可能不存在。相比之下,基于信息的方法不受这些故障模式的影响。在本文中,我们提出了一种新的基于信息的方法称为预测熵搜索与约束(PESC)。我们分析了PESC的性能,并表明,它相比有利的EI为基础的方法的合成和基准问题,以及几个现实世界的例子。我们证明,PESC是一个有效的算法,提供了一个有前途的方向统一的解决方案,约束贝叶斯优化。
2015-07-15 stat.ML
Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space
University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
针对贝叶斯联邦学习中局部预测后验乘积导致过度自信的问题,提出β-Predictive Bayes算法,通过可调参数β在混合与乘积之间插值以改善全局集成校准,并在多种数据集上验证了其优于基线。
2024-01-09 cs.LG stat.ML
Efficient computation of predictive probabilities in probit models via expectation propagation
本文利用期望传播推导出贝叶斯probit模型预测概率的闭式表达式,并通过模拟研究证明其优于现有方法。
2023-09-04 stat.CO stat.ME stat.ML