Bayesian Predictive Densities Based on Latent Information Priors
从预测的角度研究先验密度的构造方法。利用观测数据构造了未来观测量的预测密度。假设未来观测量和观测数据的同时分布属于多项式模型的参数子模型。未来的观测数据和数据可能是依赖的。用Kullback-Leibler散度来评价给定观测数据的预测密度与未来观测量的真实条件密度的差异。证明了贝叶斯预测密度的极限构成一个本质完全类。潜在信息先验被定义为最大化给定观测数据的参数和未来观测量之间的条件互信息的先验。极小极大预测密度被构造为贝叶斯预测密度的极限,基于收敛到潜在信息先验的先验序列。
2010-09-26 math.ST stat.TH
Asymptotically minimax Bayesian predictive densities for multinomial models
考虑了多项模型的一步预测。预测密度的性能通过从真实密度到预测密度的平均Kullback-Leibler散度来评估。得到了基于Dirichlet先验的贝叶斯预测密度的风险函数的渐近逼近。证明了基于特定Dirichlet先验的贝叶斯预测密度是渐近极小极大的。渐近极大极小先验不同于已知的客观先验,如Jeffreys先验或一致先验。
2011-12-05 math.ST stat.TH
Federated Martingale Posterior Samping
School of Computing, University of Glasgow(格拉斯哥大学计算学院);Communication Systems Department, EURECOM(EURECOM通信系统部门);Institute for Intelligent Networked Systems, Northeastern University London(伦敦东北大学智能网络系统研究所)
本文提出联邦马尔可夫后验采样方法,通过在不共享本地数据集的情况下,利用预测分布恢复参数不确定性,从而在联邦学习中提升模型校准性能。
2026-09-28 cs.LG stat.ML
Nonsubjective priors via predictive relative entropy regret
我们通过后验预测相对熵后悔准则探讨贝叶斯统计中非主观先验分布的构造。我们进行了极大极小分析的基础上导出的渐近预测损失函数,并表明这种方法事先建设有一些有吸引力的功能。这里的方法不同于以前的工作,使用先验或后相对熵遗憾,我们认为预测性能的替代非退化先验分布。并通过具体实例分析说明了这一理论。
2006-05-23 math.ST stat.TH
Shrinkage priors for Bayesian prediction
我们研究收缩先验构造贝叶斯预测分布。证明了当模型流形满足一定的微分几何条件时,基于Jeffreys先验或其它Vague先验,存在收缩预测分布渐近优于贝叶斯预测分布.从真实分布到预测分布的Kullback-Leibler偏差被采用作为损失函数。引入了模型流形对应于Vague先验的共形变换。我们展示了几个例子,收缩预测分布占主导地位的贝叶斯预测分布的基础上模糊的先验。
2006-07-01 math.ST stat.TH
Characterizing the Separability Gap in Prior-Data Fitted Networks
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究表征了PFNs的可分性差距,发现常见PFN先验不可分,误设时其可分性差距影响特征与标签拟合,还利用未标记观测提出SemiTabICL提升了准确率,确立了特征与标签分布依赖的先验设计重要性。
2026-10-14 cs.LG stat.ML
The ARR2 prior: flexible predictive prior definition for Bayesian auto-regressions
提出ARR2先验,通过在贝叶斯时间序列模型中联合定义自回归分量及其诱导$R^2$,实现灵活直观的收缩,有效提升了稀疏推断质量与预测性能。
2025-02-06 econ.EM stat.CO
Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们介绍了一种方法,KL-LIME,用于解释贝叶斯预测模型的预测,通过将预测分布中的信息局部投影到一个更简单,可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理(LIME)方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
On predictive probability matching priors
我们重新审视先验的问题,实现近似匹配的贝叶斯和频率论的预测概率。这样的先验可以被认为是提供贝叶斯预测的频率论校准或简单地作为用于产生频率论预测区域的设备。在这里,我们分析了$O(n^{-1})$项在贝叶斯预测区域的覆盖概率的扩展中,如在[Ann. Statist. 28(2000)1414- 1426]。与参数匹配的情况不同,渐近预测匹配先验可以取决于水平$α$。我们调查一致预测匹配先验(UPMP),也就是说,先验的这$O(n^{-1})$长期为零的所有$α$。它被显示在[安统计。28(2000)1414- 1426],在分位数匹配和标量参数的情况下,如果存在这样的先验,则它必须是Jeffreys先验。在本文中,我们调查UPMPs在多参数的情况下,提出了一些一般性的结果的形式,和唯一性或其他,UPMPs的分位数和最高预测密度匹配。
2008-05-20 math.ST stat.TH
Quasi-Bayesian Nonparametric Density Estimation via Autoregressive Predictive Updates
University of Oxford(牛津大学);Novo Nordisk(诺和诺德);University College London(伦敦大学学院)
贝叶斯方法是一种流行的选择,统计推断在小数据制度,由于正则化效应引起的先验。在密度估计的背景下,标准的非参数贝叶斯方法是针对Dirichlet过程混合模型的后验预测。通常,后验预测的直接估计是棘手的,因此方法通常求助于近似后验分布作为中间步骤。然而,最近发展的准贝叶斯预测copula更新,使得有可能进行易于处理的预测密度估计,而不需要后验近似。虽然这些估计在计算上是有吸引力的,但它们往往在非光滑数据分布上挣扎。这是由于提出的copula更新所依据的似然模型的相对限制性形式。为了解决这个问题,我们考虑了一个贝叶斯非参数模型与自回归似然分解和高斯过程先验。虽然这样的模型的预测更新通常是棘手的,我们得到一个准贝叶斯预测更新,实现国家的最先进的结果在小数据制度。
2023-02-18 cs.LG stat.ME stat.ML
Flexible Prior Elicitation via the Prior Predictive Distribution
在基于贝叶斯方法的统计推断过程中,未知模型参数的先验分布起着至关重要的作用。然而,指定合适的先验往往是困难的,即使详细的先验知识是在原则上。挑战在于以概率分布的形式表达定量信息。先验启发通过从专家那里提取主观信息并将其转换为有效的先验来解决这个问题。然而,大多数现有的方法需要提供关于不可观测参数的信息,这些参数对数据生成过程的影响通常是复杂的且难以理解的。我们提出了一种替代方法,只需要知识的可观察到的结果-知识,这往往是更容易为专家提供。建立在一个原则性的统计框架,我们的方法利用先验预测分布隐含的模型自动转换专家的判断合理的结果值,以适当的先验参数。我们还提供了计算策略来执行推理和指导方针,以促进实际使用。
2020-03-16 stat.ME
Enriched standard conjugate priors and the right invariant prior for Wishart distributions
多元正态分布的方差-协方差阵的预测在多元分析中是一个重要的问题.我们研究了Kullback-Leibler散度下Wishart分布的贝叶斯预测分布。Wishart分布族的条件约简使我们能够分解贝叶斯预测分布的风险。我们考虑了最近引入的一类先验分布,这是所谓的家庭丰富的标准共轭先验分布,并比较了贝叶斯预测分布的基础上,这些先验分布。进一步研究了基于族中参考先验分布的贝叶斯预测分布的性能,证明了族中存在一个先验分布优于参考先验分布.我们的研究提供了新的见解多元分析时,存在一个有序的推理重要性的自变量。
2022-09-23 math.ST stat.TH
Relations Between the Conditional Normalized Maximum Likelihood Distributions and the Latent Information Priors
我们揭示了条件归一化最大似然(CNML)分布和贝叶斯预测密度的基础上的潜在信息先验(LIPs)之间的关系。特别地,CNML 3,这是一种类型的CNML分布,进行了研究。预测密度的贝叶斯投影,这是一个信息投影的预测密度的贝叶斯预测密度的集合,被认为是。我们证明了CNML 3的Bayes投影散度与条件互信息之和是渐近常数。这一结果意味着CNML 3的贝叶斯投影(BPCNML 3)与基于LIP的贝叶斯预测密度渐近相同。此外,在一些更强的假设下,我们证明了BPCNML 3与基于LIP的贝叶斯预测密度完全一致。
2014-12-25 math.ST stat.TH
Incorporating Unlabelled Data into Bayesian Neural Networks
University of Oxford(牛津大学);Helmholtz AI(亥姆霍兹人工智能研究所);Technical University of Munich(慕尼黑工业大学)
本文提出自监督贝叶斯神经网络,通过对比预训练和变分下界优化利用无标签数据学习更好的先验预测分布,从而在低预算场景下提升预测性能。
2024-08-30 cs.AI cs.LG stat.ML
Predictive densities for multivariate normal models based on extended models and shrinkage Bayes methods
研究了均值向量未知且协方差阵已知的多元正态模型的预测密度。基于收缩先验的贝叶斯预测密度通常具有复杂的表示,尽管它们在各种问题中是有效的。我们考虑以均值向量和协方差阵为参数的扩展正态模型,并采用属于包括原正态模型在内的扩展模型的预测密度。我们采用的预测密度是最佳的后验贝叶斯风险的扩展模型。基于超调和收缩先验的预测密度在基于库尔贝克-莱布勒散度的损失函数下优于基于均匀先验的贝叶斯预测密度。我们的方法提供了一种替代经验贝叶斯方法,这是广泛用于构建易于处理的预测密度。
2022-12-07 math.ST stat.ME stat.TH
Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features
The University of Manchester, UK(英国曼彻斯特大学);University of Pisa, Italy(意大利比萨大学);Nanyang Technological University, Singapore(新加坡南洋理工大学);Max Planck Institute for Mathematics in the Sciences, Germany(德国马克斯·普朗克数学研究所)
提出一种鲁棒贝叶斯随机特征回归方法,通过Huber污染集处理先验和似然误设,推导出后验预测密度的上下界,并引入不精确最高密度区域进行鲁棒不确定性量化,证明预测不确定性保持计算可行性并继承经典双重下降相位结构。
2026-06-01 cs.LG math.PR math.ST
Uncertainty Calibration in Bayesian Neural Networks via Distance-Aware Priors
AWS(亚马逊云科技);Amazon(亚马逊)
当我们远离数据时,预测的不确定性应该增加,因为各种各样的解释与很少的可用信息是一致的。我们引入了距离感知先验(DAP)校准,这是一种在训练域之外纠正贝叶斯深度学习模型过度自信的方法。我们将DAP定义为模型参数的先验分布,这些参数通过测量输入与训练集的距离来依赖于输入。DAP校准对于后验推断方法是不可知的,并且它可以作为后处理步骤来执行。我们在各种分类和回归问题中证明了它对几个基线的有效性,包括旨在测试远离数据的预测分布质量的基准。
2022-07-17 cs.AI cs.LG stat.ML
Regularizing Bayesian Predictive Regressions
我们表明,正则化贝叶斯预测回归提供了一个框架,事先敏感性分析。我们开发了一个程序,联合正则化的期望和方差-协方差阵使用一对收缩先验。我们的方法直接适用于向量自回归(VAR)和看似无关回归(SUR)。正则化路径提供先验灵敏度诊断。通过利用正则化惩罚和预测先验分布之间的二元性,我们重新解释了宏观金融研究的两个经典贝叶斯分析:股票溢价可预测性和预测宏观经济增长率。我们发现,存在合理的先验规范的可预测性超过标准普尔500指数收益率使用账面市值比,CAY(消费,财富,收入比),和国库券利率。我们使用市场时机策略评估预测,我们表明最佳正则化的解决方案优于买入并持有的方法。第二个实证应用涉及预测工业生产,通货膨胀和消费增长率,并证明了我们的方法的可行性。
2017-09-13 stat.ME
Bayesian Forecast Combination with Predictive Priors via Particle Filtering
本文提出带预测先验的贝叶斯预测组合框架,首次将前瞻性信号嵌入时变权重更新,以模型多样性为信号实现DTVW方法,通过模拟与实证验证其预测准确性优于TVW等基准,还能提供模型诊断见解。
2025-08-24 stat.ME
Translating predictive distributions into informative priors
MRC Biostatistics Unit, University of Cambridge(剑桥大学MRC生物统计学单位)
本文提出将可观测量或模型导出的边际量的先验分布转化为有信息的联合先验,通过参数化先验分布和优化超参数来减少预测分布与给定分布的差异。
2025-05-03 stat.ME
Empirical Bayes Model Averaging with Influential Observations: Tuning Zellner's g Prior for Predictive Robustness
研究了正态线性回归模型在存在影响性观测值时的贝叶斯模型平均(BMA)行为。补救措施,以减轻潜在的负面影响,这种意见的推断和预测。该方法的动机是认为表现良好的残差和良好的预测性能往往是齐头并进的。重点放在使用Zellner的g先验变量的回归模型上。在简单的情况下,研究各种形式的模型失配对BMA预测的影响,指出了在获得最佳预测之前“调整”Zellner g的规定性指导方针。先验分布的调整是通过考虑BMA系综中各种模型的最佳拟合所应享有的理论性质来获得的。该方法可以被认为是一种“经验贝叶斯”建模方法,因为数据有助于告知先验的规范,以减轻有影响力的案例的负面影响。
2021-11-20 stat.ME
Proper Bayes and Minimax Predictive Densities for a Matrix-variate Normal Distribution
本文讨论了已知协方差阵的矩阵变量正态分布的预测密度估计问题。我们的主要目的是建立一些贝叶斯预测密度相关的矩阵收缩估计的正态均值矩阵。Kullback-Leibler损失用于评估预测密度的决策理论最优性。它表明,一个适当的分层先验产生一个容许的和极大极小的预测密度。同时,为了得到具有良好数值性能的极大极小预测密度,还考虑了先验密度的超调和性。
2017-03-31 math.ST stat.TH
Predictive Active Set Selection Methods for Gaussian Processes
我们提出了一个积极的集合选择框架高斯过程分类的情况下,数据集是足够大,使其推理禁止。我们的方案由活动集更新规则和基于边际似然最大化的超参数优化的两步交替过程组成。活动集更新规则依赖于高斯过程分类器的预测分布的能力,以估计数据点在被包括或从模型中移除时的相对贡献。这意味着我们可以使用它来包含对分类器决策过程具有潜在高影响的点,同时删除那些不太相关的点。我们介绍了两个基于不同标准的活动集规则,第一个更喜欢一个模型与可解释的活动集参数,而第二个把计算复杂性放在第一位,因此一个模型与活动集参数,直接控制其复杂性。我们还提供了理论和经验支持,我们的积极集选择策略是一个很好的近似一个完整的高斯过程分类。我们广泛的实验表明,我们的方法可以与国家的最先进的分类技术与合理的时间复杂度。源代码可在http://cogsys.imm.dtu.dk/passgp上公开获取。
2011-06-23 stat.ML
Simultaneous prediction of independent Poisson observables
研究了独立泊松观测量的同时预测分布。引入了Poisson均值的一类非正常先验分布。贝叶斯预测分布的基础上,从引进类的先验被证明是可容许的Kullback-Leibler损失。基于此类先验的贝叶斯预测分布优于基于Jeffreys先验的贝叶斯预测分布。
2004-10-05 math.ST stat.TH
Model Selection in Bayesian Neural Networks via Horseshoe Priors
贝叶斯神经网络(BNN)最近受到越来越多的关注,因为它们能够提供良好校准的后验不确定性。然而,模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。在这项工作中,我们将马蹄铁先验应用于贝叶斯神经网络的节点预激活,这有效地关闭了无助于解释数据的节点。我们证明了我们的先验知识可以防止BNN拟合不足,即使所需的节点数量被严重高估。此外,这种对节点数量的模型选择并不以牺牲预测或计算性能为代价;事实上,我们学习的是更小的网络,其预测性能与当前方法相当。
2017-05-29 stat.ML
From Partial Exchangeability to Predictive Probability: A Bayesian Perspective on Classification
本文提出一种结合高斯过程先验与狄利克雷过程先验的贝叶斯非参数分类模型,扩展了de Finetti表示定理框架,并在模拟数据上验证其优于标准逻辑回归。
2025-08-22 stat.ME stat.ML
Simultaneous prediction for independent Poisson processes with different durations
研究了独立泊松观测量的同时预测密度。观测数据和待预测的目标变量根据由相同参数参数化的不同泊松分布独立地分布。预测密度的性能由Kullback-Leibler散度进行评估。引入了一类依赖于预测目标的先验分布。基于此类先验的贝叶斯预测密度优于基于Jeffreys先验的贝叶斯预测密度。
2014-02-03 math.ST stat.TH
Applying Meta-Analytic-Predictive Priors with the R Bayesian evidence synthesis tools
在临床试验设计和分析中使用历史数据已显示出各种优势,如减少研究内安慰剂治疗的受试者数量和增加研究把握度。荟萃分析预测(MAP)方法采用分层模型解释试验间异质性,以便从历史(通常为对照)数据中获得信息性先验。在本文中,我们介绍了包RBesT(R贝叶斯证据合成工具),实现了MAP方法与正常(已知采样标准差),二项式和泊松端点。用MCMC对层次MAP模型进行了评价。代表MAP先验的数值MCMC样本用期望最大化算法获得的参数混合密度近似。参数混合密度表示便于MAP先验的轻松通信,并能够通过快速准确的分析程序来评估具有信息丰富的MAP先验的试验设计的特性。本文首先介绍了强大的贝叶斯证据合成在这种情况下的框架,然后解释RBesT如何促进推导和评估的信息MAP之前,从历史对照数据。此外,我们描述了元分析框架如何涉及到进一步的应用,包括成功的概率计算。
2019-12-11 stat.AP
Bayesian predictive inference without a prior
设$(X_n:n\ge 1)$为随机观测序列。设$σ_n(\cdot)=P\bigl(X_{n+1}\in\cdot\mid X_1,\ldots,X_n\bigr)$为第$n$个预测分布,$σ_0(\cdot)=P(X_1\in\cdot)$为$X_1$的边缘分布。在贝叶斯框架中,要对$(X_n)$进行预测,只需要集合$σ=(σ_n:n\ge 0)$。由于Ionescu-Tulcea定理,$σ$可以直接分配,而无需通过通常的先验/后验方案。一个主要优点是不必选择先验概率。在本文中,$σ$受到两个要求:(i)所得到的序列$(X_n)$是条件同分布的,在Berti,Pratelli和Rigo(2004)的意义下;(ii)每个$σ_{n+1}$是$σ_n$的简单递归更新。介绍并研究了满足(i)-(ii)的各种新的$σ$。对于这样的$σ$,确定$σ_n$的渐近性,作为$n\rightarrow\infty$。在某些情况下,还评估了$(X_n)$的概率分布。
2021-04-26 math.ST stat.ME stat.TH
Asymptotic Properties of Bayesian Predictive Densities When the Distributions of Data and Target Variables are Different
利用信息几何框架,研究了观测数据$x$和待预测目标变量$y$具有不同分布时的贝叶斯预测密度.预测密度的性能由Kullback-Leibler散度进行评估。参数化模型用黎曼流形表示。在$x$和$y$具有相同分布的常规设置中,Fisher-Rao度量和Jeffreys先验起着重要作用。在其中$x$和$y$具有不同分布的本设置中,通过使用$x$和$y$的Fisher信息矩阵构造的我们称为预测度量的新度量以及基于预测度量的体积元起相应的作用。结果表明,基于非常数正上调和函数的贝叶斯预测密度渐近优于基于预测度量的体积元先验的贝叶斯预测密度.
2015-03-26 math.ST stat.TH
Bayesian predictive densities for linear regression models under alpha-divergence loss: some results and open problems
本文考虑方差未知的正态线性模型在α-散度损失下的预测密度估计,其中α-1 <= α <= 1。我们首先给出了问题的一般标准型,然后给出了广义贝叶斯解在上述损失下的一般表达式。对于Maruyama和Strawderman(2005,2006)研究的一类特殊的分层广义先验,分别针对均值向量和方差的估计问题,给出了广义Bayes预测密度.此外,我们表明,对于这些先验的一个子类,当alpha=1时,所得估计量相对于右不变先验支配广义贝叶斯估计量,即,最佳(完全)等变极大极小估计量。
2010-02-19 math.ST stat.TH
Scalable computation of predictive probabilities in probit models with Gaussian process priors
二进制数据的预测模型是各个领域的基础,并且现代应用的日益复杂性激发了几种灵活的规范来建模所观察到的预测因子和二进制响应之间的关系。一个广泛实施的解决方案是通过预测指标索引的高斯过程的概率比特映射来表达概率参数。然而,与连续设置不同,在具有高斯过程先验的二元模型中,缺乏预测分布的封闭形式结果。马尔可夫链蒙特卡罗方法和近似策略为这个问题提供了常见的解决方案,但最先进的算法要么计算上难以处理,要么在中高维中不准确。在这篇文章中,我们的目标是通过推导概率单位高斯过程中的预测概率的封闭形式表达式来弥补这一差距,该过程依赖于多元高斯的累积分布函数或多元截断法线的泛函。为了评估这些数量,我们开发了新的可扩展的解决方案的基础上瓷砖低秩蒙特卡罗方法计算多元高斯概率,和平均场变分近似的多元截断法线。封闭形式的表达式的边缘似然和后验分布的高斯过程进行了讨论。如模拟和真实世界的实证研究所示,所提出的方法可扩展到最先进的解决方案不切实际的维度。
2022-01-27 stat.CO
Horseshoe Predictive Inference
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院)
本文研究了在连续混合先验(马蹄先验)下预测推断的理论性质,提出新的理论结果证明预测贝叶斯估计在稀疏性已知时的渐近最优性,并展示了在稀疏性未知时的自适应性能。
2026-04-17 math.ST stat.ME stat.TH
Predictive Characterization of Mixtures of Markov Chains
预测构造是一种强有力的方法,可以用某些形式的不变性来表征随机过程的概率律,例如交换律或马尔可夫交换律。当de Finetti表示定理可用时,预测表征隐含地定义了先验分布,从对可观测量的假设开始;此外,它通常有助于设计有效的计算策略。本文给出了离散值过程X的预测分布序列刻画马氏可交换概率律的充要条件。在常返性下,马氏可交换过程是马尔可夫链的混合.因此,我们的研究结果有助于检查时,一个预测方案的特点是事先贝叶斯推断的一个马尔可夫链的未知转移矩阵。我们的预测条件在某种意义上是马尔可夫交换的最小充分条件,我们还提供了预测条件的复发。我们说明了它们的应用在相关的例子,从文献和小说的建设。
2015-11-13 math.PR stat.ME
Adaptive Gaussian Predictive Process Approximation
我们解决高斯预测过程方法的节点选择问题。预测过程逼近为解决高斯过程模型的三阶计算复杂性提供了一种有效的方法。这种近似至关重要地取决于一组称为结的点,在这些点处保留原始过程,而其余部分则通过确定性外推来近似。节点的数量应该很少,以保持计算复杂度低,但提供了一个良好的覆盖范围的过程域,以限制近似误差。我们提出的理论计算表明,覆盖率必须判断的高斯过程的规范度量。这需要具有适当的节点选择算法,该节点选择算法自动适应受控制高斯过程协方差函数的参数值的变化影响的规范度量的变化。我们提出了一个算法,通过采用不完全Cholesky分解与旋转和动态停止。虽然这些概念已经存在于文献中,我们的贡献在于将它们统一到一个快速算法中,并使用可计算的误差界来巧妙地实现预测过程近似。由此产生的自适应预测过程提供了大量的高斯过程模型拟合的自动化,特别是对于贝叶斯应用,其中要探索数千个协方差参数的值。
2011-08-01 stat.CO stat.ME stat.ML
Direct pivotal predictive inference
在不假设某些测量参数的任何pdf的情况下,我们推导出第二次测量结果的预测pdf,给出第一次测量的结果和关于噪声的两个常见假设。这些是(1)它是可加的,(2)它是某种已知的pdf。该参数是基于贝叶斯分析的噪声时,没有pdf提供的参数值。这样,我们就避免了假设一个特定的先验。我们澄清了这种直接预测推理方法与基准预测的区别。我们指定的明显缺陷的基准参数,并概述了这一发展的重要性的基础上的概率和统计。保留字:非参数预测推理,直接关键论元,关键论元,基准论元,基准预测,贝叶斯推理,参考先验,参考类。
2004-10-19 math.PR math.ST physics.data-an
Shrinkage priors for circulant correlation structure models
针对具有尺度不变性的循环相关结构多元高斯模型,构建收缩先验,证明其贝叶斯预测密度在KL风险下渐近优于Jeffreys先验,且收缩协方差矩阵非特征值部分,区别于传统特征值收缩方法。
2025-04-17 math.ST stat.TH
Bayesian shrinkage prediction for the regression problem
我们考虑贝叶斯收缩预测下的正态回归问题的频率Kullback-Leibler风险函数。首先,我们考虑均值未知和协方差已知的多元正态模型。当未知均值固定时,未来样本的协方差可能与训练样本不同。证明了如果协方差矩阵和未来协方差阵的先验分布是旋转不变的,则基于一致先验的贝叶斯预测分布优于基于一类先验的贝叶斯预测分布.然后,我们考虑一类先验的均值参数依赖于未来的协方差阵。有了这样的先验,我们可以构建一个贝叶斯预测分布优于基于一致先验。最后,将这一结果应用于正态线性回归模型中响应变量的预测,证明了在一致先验条件下,存在一个贝叶斯预测分布支配该分布。这些贝叶斯预测的极大极小性来自这些结果。
2007-01-21 math.ST stat.TH
Prior-Posterior Derived-Predictive Consistency Checks for Post-Estimation Calculated Quantities of Interest (QOI-Check)
针对估计后自定义计算的感兴趣量(QOI)校准与解读易出错的问题,本文提出结合基于模拟的校准(SBC)和留出预测检验(HPC)的QOI-Check方法,以提升贝叶斯工作流中QOI相关结论的可靠性与可信度。
2025-03-20 stat.ME
Asymptotically Minimax Prediction in Infinite Sequence Models
研究了无穷序列模型中的渐近极大极小预测分布。首先,我们讨论了无穷序列模型中的预测与函数模型中的预测之间的联系。其次,当参数空间为已知椭球时,我们构造了一个渐近Minimax预测分布。我们证明了基于高斯先验分布的贝叶斯预测分布在椭球上是渐近极小极大的。第三,我们构造了一个渐近极小极大预测分布的任何Sobolev椭球。我们表明,贝叶斯预测分布的基础上的产品斯坦的先验是渐近极小极大的任何Sobolev椭球。最后,我们提出了一个有效的抽样方法,从建议的贝叶斯预测分布。
2017-07-19 math.ST stat.TH
Dirichlet Process Mixture Models with Shrinkage Prior
我们提出了Dirichlet过程混合(Dirichlet Process Mixture)模型的预测和集群明智的变量选择,基于两种选择的收缩基线先验分布的线性回归系数,即马蹄先验和正态伽玛先验。我们在模拟研究中表明,这两个建议的ESTA模型往往优于标准ESTA模型的基础上的非收缩正常的先验,在预测,变量选择和聚类精度。这对于马蹄模型尤其如此,并且当协变量的数量超过群内样本量时。一个真实的数据集进行了分析,以说明所提出的建模方法,两个建议的预测模型再次获得更好的预测精度。
2021-02-25 stat.AP stat.ME
Focused Bayesian Prediction
我们提出了一种新的方法进行贝叶斯预测,提供准确的预测,而不正确地指定未知的真实数据生成过程。先验定义了一类合理的预测模型。在观察数据之后,我们通过一个标准来更新这些模型的先验知识,该标准捕获了用户指定的预测准确性度量。在规则性下,这种更新将后验集中产生到预测类的元素上,从而最大化准确性度量的期望。在一系列的模拟实验和经验的例子,我们发现显着的收益相对于传统的基于似然预测的预测精度。
2020-08-21 econ.GN q-fin.EC stat.AP
Penalized complexity priors for degrees of freedom in Bayesian P-splines
贝叶斯P-样条假设一个内在的高斯马尔可夫随机场之前的样条系数,条件是一个精确的超参数$τ$。$τ$的既往诱导是困难的。为了克服这个问题,我们的目标是建立先验模型的可解释的属性,表明平滑函数的复杂性估计。根据这个想法,我们提出了惩罚复杂性(PC)先验的有效自由度的数量。我们提出了这些新的PC先验的建设背后的一般思想,描述他们的属性,并显示如何实现它们在P-样条高斯数据。
2016-04-27 stat.ME
Using history matching for prior choice
在复杂模型的贝叶斯分析中,构造信息先验分布是很重要的,它反映了手头数据之外的知识。然而,由于时间、成本和其他因素的限制,分析人员能够从专家那里获得多少先验信息是有限的。本文开发了有效的数值方法,探索合理的选择一个先验分布从一个参数类,当先验信息被指定的形式,一些有限的约束先验预测分布,这些先验预测分布是解析难处理的。所开发的方法可以被认为是历史匹配思想的一种新颖应用,历史匹配是一种在计算机模型评估文献中开发的技术。我们说明的逻辑斯谛回归和稀疏信号收缩的背景下,高维线性模型的先验分布的方法。
2017-11-09 stat.AP
Sample size re-estimation in Phase 2 Dose-Finding: Conditional power vs. Bayesian predictive power
当真实处理效应存在较大不确定性时,在临床试验中通常计划进行揭盲样本量重新估计(SSR)。对于II期剂量探索研究中的概念验证(Proof-of-Concept,缩写为CET),可以采用对比检验来利用所有治疗组的信息。在这篇文章中,我们提出了两个阶段的SSR设计,使用频率论的条件功率和贝叶斯后验预测功率的单对比和多对比测试。贝叶斯SSR可以在广泛的先验设置下实现,以结合不同的先验知识。考虑到自适应性,本文对最终分析的所有第一类错误都进行了严格的保护。模拟研究表明,非盲SSR在多臂试验中的优势。
2022-11-10 stat.AP stat.ME
Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples
在本文中,我们处理负多项式变量的估计和预测问题,特别是考虑不平衡的设置。首先,在标准化平方误差损失下,讨论了多个负多项式参数向量的估计问题,在适当的条件下,得到了一个新的优于UMVU估计的经验Bayes估计。其次,我们考虑了Kullback-Leibler发散下多个多项式表的联合预测密度的估计,得到了关于分层收缩先验的贝叶斯预测密度优于关于Jeffreys先验的贝叶斯预测密度的一个充分条件.第三,我们提出的贝叶斯估计和预测密度在模拟中提供了风险改善。最后讨论了负多项式变量的联合预测密度的估计问题。
2021-11-19 math.ST stat.ME stat.TH
Martingale posterior distributions
抽样分布参数的先验分布通常是贝叶斯不确定性量化的起点。在本文中,我们提出了一个不同的视角,重点放在缺失观测作为统计不确定性的来源,与整个人口的利益被精确地知道的参数。我们认为,贝叶斯推断的基础是分配一个分布的条件下,已观察到的缺失的意见。在有条件i.i.d.设置具有大小为$n$的观察样本,贝叶斯将因此在缺失的$Y_{n+1:\infty}$上分配以$Y_{1:n}$为条件的预测分布,其然后诱导参数上的分布。演示鞅的应用,Doob表明,选择贝叶斯预测分布返回传统的后验分布的参数。以此为线索,我们放松了预测机器,避免了预测仅仅从通常的先验到后验到预测密度公式中推导出来的需要。我们介绍了\textit{martingale posterior distribution},它返回贝叶斯不确定性直接对任何统计的兴趣,而不需要的可能性和先验,这个分布可以通过一个计算方案,我们命名为\textit{predictive resampling}采样。为此,我们介绍了新的预测方法,多变量密度估计,回归和分类,建立在最近的工作二元copula。
2021-11-22 math.ST stat.ME stat.TH
Catalytic Priors: Using Synthetic Data to Specify Prior Distributions in Bayesian Analysis
本文提出催化先验方法,通过从简单模型预测分布采样合成数据来扩充观测数据,以构建贝叶斯先验,在数据不足时提升复杂模型的估计准确性与预测性能,并探讨其与正则化方法的联系。
2023-09-22 stat.ME
Optimality of Right-Invariant Priors
本文通过测度论证明建立了右不变先验在局部紧拓扑群分布族预测中的最优性,并应用于多元正态分布与固定长度尺度的高斯过程回归。
2025-08-25 math.ST stat.TH
Model selection for ecological community data using tree shrinkage priors
研究人员和管理人员对生态群落进行建模,以推断生物和非生物变量,这些变量塑造了物种的范围,栖息地使用和共生,反过来,这些变量又用于支持管理决策和测试生态理论。最近,物种分布模型被开发并应用于生态群落的数据。生态群落数据的模型开发和选择是困难的,因为需要高水平的复杂性,并通过包括许多参数来实现,这可能会降低预测准确性,并具有解释和沟通的挑战性。与其他统计模型一样,多物种分布模型也可能被过度参数化。正则化是一种通过缩小或消除模型参数来优化预测精度的技术。对于贝叶斯模型,先验分布会自动正则化参数。我们提出了一个贝叶斯多物种分布模型的树收缩先验,执行正则化,并减少与预测变量相关的回归系数的数量。利用这一先验知识,通过对较少数量的工会而不是较多数量的物种的唯一回归系数的估计,减少了多物种分布模型中的回归系数的数量.我们证明了我们的树收缩之前使用的例子存在-不存在的数据为6种水生植被和相对丰度数据为15种鱼类。我们的研究结果表明,树木收缩先验可以提高多物种分布模型的预测精度,使研究人员能够推断的数量和物种组成的功能团的生态群落数据。
2020-05-28 stat.AP
When can a posterior predictive check identify the learning rate? Exact degeneracy in Gaussian models and implications for Generalised Bayesian Inerence
National Economics University(国家经济大学)
本文通过精确有限样本分析,揭示了在高斯线性模型中,基于后验预测检查的学习率选择器存在退化现象,即p值不依赖于学习率或数据,导致选择器失效,并提出了数据无关的预筛选诊断方法。
2026-06-05 math.ST stat.ME stat.TH
Checking for prior-data conflict using prior to posterior divergences
当使用复杂的贝叶斯模型组合信息时,检查组合信息的一致性是良好的统计实践。在这里,一个新的方法来检测先验数据冲突的贝叶斯模型的基础上比较的观察值的先验后验分歧,其分布下的先验预测分布的数据。在我们的模型检查中使用的发散度量是一个度量,用于度量信念从先验到后验发生了多大的变化,并且可以被认为是相对信念函数的整体大小的度量。结果表明,该方法是直观的,具有理想的性质,可以扩展到分层设置,并渐近相关的Jeffreys'和参考先验分布。在计算困难的情况下,建议使用变分近似作为减轻计算负担的一种方式。该方法进行了比较,在一些例子中的替代,但密切相关的方法在文献中的基础上,事先预测分布的最小充分统计量。
2016-11-28 stat.ME
Projection Predictive Inference for Generalized Linear and Additive Multilevel Models
投影预测推理是一种决策理论贝叶斯方法,它将模型估计与决策相结合。给定先前构建的包括数据中存在的所有变量的参考模型,投影预测推理将其后验投影到变量子集的约束空间上。然后通过顺序添加相关变量来进行变量选择,直到预测性能令人满意。以前,投影预测推理已被证明只有广义线性模型(GLM)和高斯过程(GP),它表现出优越的性能,竞争变量的选择程序。在这项工作中,我们扩展了投影预测推理,以支持广义线性多水平模型(GLP-S)和广义加性多水平模型(GAMM)的变量和结构选择。我们的模拟和真实世界的实验表明,我们的方法可以大大降低所需的模型复杂度,达到参考预测性能,并实现良好的频率特性。
2020-10-14 stat.CO stat.ME
Investigating the Impact of Balancing, Filtering, and Complexity on Predictive Multiplicity: A Data-Centric Perspective
Eskisehir Technical University, Department of Statistics(埃斯克谢希大学统计系);Warsaw University of Technology, Faculty of Mathematics and Information Science(华沙技术大学数学与信息科学学院);University of Warsaw, Faculty of Mathematics, Informatics and Mechanics(华沙大学数学、信息学与力学学院)
本文从以数据为中心的视角,在21个真实数据集上评估平衡与过滤预处理及数据复杂性对预测多重性和模型稳定性的影响。
2024-12-12 cs.LG stat.ML