Priors for Reducing Asymptotic Bias of the Posterior Mean
本文提出用平方 Jeffreys 先验消除正则统计模型(含指数族、线性及逻辑回归)中后验均值渐近偏差的一阶项,并阐明其与矩匹配先验及降低后验众数偏差先验的关系。
2024-10-21 stat.ME
Parametrization invariant interpretation of priors and posteriors
IIIA-CSIC(西班牙国家研究委员会人工智能研究所)
在本文中,我们利用概率在黎曼流形重新思考先验和后验的贝叶斯推理的解释。主要的思维转变是从“先验分布建立了我们模型参数的概率分布”的想法转移到“先验分布建立了概率分布的概率分布“的想法。为了做到这一点,我们假设我们的概率模型是一个具有Fisher度量的黎曼流形。在这种思维模式下,任何概率分布上的分布都应该是“内在的”,也就是说,对于为流形选择的特定参数化不变。我们通过对伯努利分布流形上的分布进行简单的分析来阐明我们的观点。最大后验估计的主要缺点之一是它们依赖于参数化。基于这里发展的理解,我们可以定义独立于参数化的最大后验估计。
2021-06-01 cs.AI cs.LG math.ST
Posterior Ramifications of Prior Dependence Structures
McGill University(麦吉尔大学);University of Waterloo(滑铁卢大学)
该研究揭示大样本下贝叶斯后验无法保留灵活先验依赖结构的特性,梳理先验设定目标以指导实践沟通,并从后验众数渐近收敛角度分析先验copula选择的影响,给出先验依赖结构复杂度选择的建议。
2024-11-20 stat.ME
Matching prior pairs connecting Maximum A Posteriori estimation and posterior expectation
本文研究贝叶斯统计中MAP估计与后验均值之间的联系,推导出使二者重合的匹配先验对条件,并利用信息几何中的α-平坦性和α-平行先验构造匹配先验对,揭示广义线性回归正则化与后验期望的关系。
2024-10-01 math.ST stat.TH
Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling
Columbia University(哥伦比亚大学)
本文针对贝叶斯最后一层模型高斯先验表达能力受限的问题,提出结合扩散技术与隐式先验的变分学习方法,通过扩散采样近似后验预测,在保证计算效率的同时提升模型精度、校准和分布外检测性能。
2024-08-07 cs.AI cs.LG stat.ML
Limiting behavior of the Jeffreys Power-Expected-Posterior Bayes Factor in Gaussian Linear Models
期望-后验先验(EPP)已被证明是非常有用的检验假设的正态线性模型的回归系数。使用EPP的优点之一是基线先验的不适当不会导致不确定性。然而,在回归问题中,他们基于一个或多个\textit{training samples},这可能会影响得到的后验分布。功率期望后验先验是最小信息先验,通过结合功率先验和单位信息先验方法的思想,减少了训练样本对EPP方法的影响。在本文中,我们显示的一致性时,使用功率期望后验先验,独立Jeffreys(或参考)作为基线,正常的线性模型在设计矩阵上非常温和的条件下。
2014-11-30 stat.CO
Can a Confident Prior Replace a Cold Posterior?
University College London(伦敦大学学院);NYU Tandon School of Engineering(纽约大学坦登工程学院)
本文针对贝叶斯神经网络在低标签噪声图像基准上的欠拟合问题,提出DirClip与confidence prior两类自信先验以替代难解释的冷后验,并分析其逼近效果与数值稳定性。
2024-03-02 cs.LG stat.ML
Predictive posterior sampling from non-stationnary Gaussian process priors via Diffusion models with application to climate data
Mines Paris, PSL University(巴黎矿业学院(巴黎文理研究大学))
本文提出一种基于扩散生成模型的两步方法,通过DGM代理替换非平稳高斯过程先验并利用免训练引导算法进行后验采样,解决了非平稳GP预测后验分布计算不可行的问题,在环境科学逆问题中实现了最先进的预测。
2025-05-23 cs.LG stat.ML
Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights
Seoul National University(首尔大学)
本文提出了参数有界的非稀疏深度神经网络新逼近理论,并证明了具有非稀疏一般先验的全连接贝叶斯神经网络能达到近极小化极大最优后验集中速率。
2024-03-21 cs.LG stat.ML
Posterior consistency in linear models under shrinkage priors
研究了高维线性模型中回归系数后验分布随维数和观测值数目的增长而变化的渐近行为。我们证明了在简单的充分条件下,后验分布集中在真参数的邻域内。这些条件下流行的收缩先验给定一些稀疏性假设。
2013-05-19 math.ST stat.ME stat.TH
Posterior propriety in Bayesian extreme value analyses using reference priors
广义Pareto(GP)分布和广义极值(GEV)分布在极值分析中起着重要的作用,分别作为阈值超集和块极大值的模型。对于这些分布中的每一个,我们认为贝叶斯推断使用“参考”先验分布(在一般意义上的先验构造使用正式的规则)的模型参数,特别是Jeffreys先验,最大数据信息(MDI)先验和独立的统一先验模型参数。我们调查的重要问题,这些不适当的先验是否导致适当的后验分布。我们表明,在GP和GEV的情况下,MDI之前,除非修改,从来没有产生一个适当的后,在GEV的情况下,这也适用于Jeffreys之前。我们还表明,样本量为三(四)是足够的独立均匀先验产生一个适当的后验分布在GP(GEV)的情况下。
2015-08-20 stat.ME
Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors
Ecole polytechnique(巴黎综合理工学院);KTH Royal Institute of Technology(皇家理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对去噪扩散模型先验下后验分布难以采样的问题,提出分治后验采样框架,利用模型内在结构构建中间后验序列引导采样,在无需重训练的情况下显著降低近似误差并提升准确性。
2024-11-11 cs.LG stat.ML
On posterior propriety for the Student-$t$ linear regression model under Jeffreys priors
具有厚尾误差项的回归模型是一种越来越受欢迎的选择,以获得对离群观测值的更稳健的推断。本文主要研究基于Jeffreys规则的客观先验下Student- $t$线性回归模型的贝叶斯推断。对Fonseca等人(2008)提出的后部适当性结果进行了重新审查和纠正。特别是,它表明,标准的杰弗里斯规则事先排除存在一个适当的后验分布。
2013-11-08 math.ST stat.AP stat.ME
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University(武汉大学);The University of Adelaide(阿德莱德大学);Inception Institute of Artificial Intelligence(人工智能初创研究院)
变分丢弃算法(Variational dropout,VD)是高斯丢弃算法的一种推广,其目的是根据网络权值的对数一致先验知识来推断权值的后验,从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力,而且还支持这种后验的推断。然而,对数均匀先验是不适当的先验(即,它的积分是无穷的),这就导致了后验推理的不适定,从而限制了VD的正则化性能。为了解决这个问题,我们提出了一个新的推广高斯辍学,称为变分贝叶斯辍学(VBD),这反过来利用一个层次的网络权重的先验,并推断一个新的联合后验。具体来说,我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后,我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中,从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是,层次先验是一个适当的先验,使后验推理是适定性的。此外,我们进一步表明,建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
Checking for prior-data conflict using prior to posterior divergences
当使用复杂的贝叶斯模型组合信息时,检查组合信息的一致性是良好的统计实践。在这里,一个新的方法来检测先验数据冲突的贝叶斯模型的基础上比较的观察值的先验后验分歧,其分布下的先验预测分布的数据。在我们的模型检查中使用的发散度量是一个度量,用于度量信念从先验到后验发生了多大的变化,并且可以被认为是相对信念函数的整体大小的度量。结果表明,该方法是直观的,具有理想的性质,可以扩展到分层设置,并渐近相关的Jeffreys'和参考先验分布。在计算困难的情况下,建议使用变分近似作为减轻计算负担的一种方式。该方法进行了比较,在一些例子中的替代,但密切相关的方法在文献中的基础上,事先预测分布的最小充分统计量。
2016-11-28 stat.ME
Distributional Results Relating to the Posterior of a Dirichlet Process Prior
本文的目的是寻找Dirichlet过程的Sethuraman(1994)表示中后验参数的分布结果。这些结果可以用来简单地推导狄利克雷过程的后验。
2015-10-25 math.ST stat.TH
Efficient MCMC Sampling for Bayesian Matrix Factorization by Breaking Posterior Symmetries
University of Michigan(密歇根大学)
贝叶斯低秩矩阵分解技术已成为关系数据分析和矩阵补全的重要工具。标准的方法是在因子矩阵的列或行上分配零均值高斯先验以创建共轭系统。这种先验的选择导致简单的实现;然而,它也会导致后验分布的对称性,这会严重降低马尔可夫链蒙特卡罗(MCMC)采样方法的效率。在本文中,我们提出了一个简单的修改先验选择,可证明打破这些对称性,并保持/提高精度。具体来说,我们提供的条件,高斯先验均值和协方差必须满足,使后验不表现出不变性,产生采样困难。例如,我们表明,使用非零线性独立的先验均值显着降低了MCMC样本的自相关性,也可以导致较低的重建误差。
2020-11-10 cs.LG stat.ML
On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression
在逻辑斯谛回归中,当预测因子的线性组合可以完美地分类样本中的部分或全部观测值时,分离发生,并且因此,回归系数的有限最大似然估计不存在。Gelman等人(2008)建议将独立柯西分布作为逻辑斯谛回归中回归系数的默认先验,即使在分离的情况下也是如此,并在其分析中报告了后验模式。由于柯西先验的均值不存在,一个自然的问题是分离下回归系数的后验均值是否存在。我们证明定理,提供了必要和充分条件下独立的柯西先验的logit链接和一般家庭的链接函数,包括概率链接后的手段存在。我们还研究了多元柯西先验下后验均值的存在性。对于完整的贝叶斯推断,我们开发了一个基于Polya-Gamma数据增强的Gibbs采样器,用于在独立的Student-t先验(包括Cauchy先验)下从后验分布中采样,并在补充中提供了配套的R软件包。我们的经验表明,即使在分离下的回归系数的后验均值存在,柯西先验的后验样本的大小可能是异常大,相应的吉布斯采样器显示出非常缓慢的混合。虽然Stan中的No-U-Turn Sampler等替代算法可以极大地改善混合,但为了解决分离下Cauchy先验的极重尾后验问题,需要考虑自由度大于1的轻尾先验,如正常先验或Student-t先验。
2017-02-09 stat.ME
Power-Expected-Posterior Priors for Generalized Linear Models
功率期望后验(PEP)先验提供了一个客观的,自动的,一致的和简约的模型选择过程。同时,它解决了概念和计算问题,由于使用虚构的数据。也就是说,(i)它不需要在所有可能的最小虚样本中进行选择和平均,以及(ii)它减少了虚数据对后验分布的影响。这些属性允许在需要时进行大样本近似,以减少更复杂模型下的计算负担。在这项工作中,我们概括的PEP方法的适用性,侧重于框架的广义线性模型(GLM),通过引入两个新的PEP定义,这是在任何一般的模型设置有效。超先验扩展的功率参数,调节的贡献的虚数据的介绍。我们进一步研究了预测匹配和模型选择一致性的有效性,为前者提供了分析证据,为后者提供了经验证据。对于后验模型和包含概率的估计,我们引入了一个免调谐的吉布斯变量选择采样器。考虑了几种模拟场景和一个现实生活示例,以评估所提出的方法与其他基于g先验混合的常用方法相比的性能。结果表明,GLM-PEP先验更有效地识别稀疏和简约的模型配方。
2017-09-29 stat.CO stat.ME
Empirical priors and posterior concentration rates for a monotone density
在贝叶斯上下文中,先验规范的单调密度的推理是概念上简单,但证明后收敛定理是复杂的事实,理想的先验浓度属性往往不满足。在本文中,我首先开发了一个新的先验专门设计,以满足经验版本的先验浓度属性,然后我给充分条件的先验输入,使相应的经验贝叶斯后验集中在真正的单调密度在近最优极大极小率。数值例子也揭示了实际的好处,建议的经验贝叶斯方法相比,狄利克雷过程的混合物。
2018-08-09 math.ST stat.TH
Optimal Gaussian approximations to the posterior for log-linear models with Diaconis-Ylvisaker priors
在列联表分析中,即使是少量变量也经常遇到稀疏数据,导致不存在最大似然估计。一种常见的解决方案是获得对数线性模型的参数的正则化估计。贝叶斯方法为正则化提供了一种连贯的方法,但通常是计算密集型的。共轭先验简化了计算需求,但对数线性模型参数的共轭Diaconis-Ylvisaker先验不会产生封闭形式的可信区域,从而使后验推理复杂化。在这里,我们得到了最佳高斯近似的后验的对数-线性模型与Diaconis-Ylvisaker先验,并提供收敛速度和有限样本界之间的库尔贝克-莱布勒散度的确切后验和最佳高斯近似。我们在模拟和实际数据应用中的经验表明,即使在相对较小的样本中,近似也是高度准确的。所提出的近似提供了一个计算上可扩展的和原则性的方法来正则化估计和近似贝叶斯推断的对数线性模型。
2015-11-03 stat.ME
Variations of Power-Expected-Posterior Priors in Normal Regression Models
功率期望后验(PEP)先验是高斯线性模型的一种客观先验,在M-闭情形下,PEP先验导致一致的模型选择推理,并倾向于简约模型.最近,提出了两种新形式的PEP先验,将其适用性推广到更广泛的模型。这两个PEP变量的正常线性模型的上下文中的属性进行了彻底的检查,集中在先前的分散和诱导模型选择过程的一致性。结果表明,这两个PEP的变种有更大的方差比单位信息g先验,他们是M-封闭一致的限制行为的相应的边际似然匹配的BIC。在M-开的情况下,使用三种不同的模型误设定的情况下的一致性进一步研究。
2019-11-21 stat.ME
A robustified posterior for Bayesian inference on a large number of parallel effects
许多现代实验,如微阵列基因表达和全基因组关联研究,提出了估计大量平行效应的问题。贝叶斯推断是一种流行的方法,用于通过将大量未知参数建模为来自公共先验分布的随机效应来分析此类数据。然而,先验分布的错误设定可能导致随机效应的错误估计,尤其是对于最大和最有趣的效应。本文有两个目的。首先,我们提出了一个鲁棒的后验分布的参数贝叶斯分层模型,可以大大减少错误指定的先验的影响。其次,我们进行了一个系统的比较标准的参数后验,建议鲁棒参数后验,和非参数贝叶斯后验,使用狄利克雷过程混合先验。与灵活的参数先验相结合,建议鲁棒后可以是一个更好的替代非参数贝叶斯方法。
2018-10-25 stat.ME
Posterior contraction for deep Gaussian process priors
研究了一类深度高斯过程先验在回归函数的一般组合假设下应用于非参数回归问题的后验收缩率。结果表明,收缩率可以实现极小极大收敛速度(高达$\log n$因素),同时是自适应的底层结构和光滑的目标函数。该框架扩展了贝叶斯非参数理论的高斯过程先验。
2022-08-13 math.ST stat.TH
Priors from Envisioned Posterior Judgments: A Novel Elicitation Approach With Application to Bayesian Clinical Trials
本研究提出一种基于设想后验判断的新先验启发方法,通过点估计响应和迭代反馈实现先验-后验一致性,减轻认知负担,并在临床试验中验证其可行性。
2025-09-12 stat.AP stat.ME
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology(视觉计算研究所,格拉茨技术大学)
本文提出高斯潜在机,通过统一和泛化现有采样算法,实现高效逆问题采样,适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Prior-Posterior Derived-Predictive Consistency Checks for Post-Estimation Calculated Quantities of Interest (QOI-Check)
针对估计后自定义计算的感兴趣量(QOI)校准与解读易出错的问题,本文提出结合基于模拟的校准(SBC)和留出预测检验(HPC)的QOI-Check方法,以提升贝叶斯工作流中QOI相关结论的可靠性与可信度。
2025-03-20 stat.ME
Properly constrained reference priors decay rates for efficient and robust posterior inference
本文提出两种约束纳入策略,构建可处理的参考先验,调和客观性与可计算性,强调Jeffreys先验衰减率的核心作用,并用文献示例验证其实际适用性。
2024-09-19 math.ST stat.ME stat.TH
Convergence Rates of Variational Posterior Distributions
本文研究了变分后验分布在非参数和高维推断下的收敛速度。我们制定了一般条件的前,似然,变分类的特点收敛速度。在文献中考虑的类似“先验质量和测试”条件下,发现该速率是两项的总和。首项表示真实后验分布的收敛速度,第二项由变分逼近误差贡献。对于一类先验,我们提出了一个新的先验质量条件,在该条件下,平均场类的变分逼近误差由真后验的收敛速度决定.通过推导相应变分后验的收敛速度,我们证明了我们的一般结果对各种模型、先验分布和变分类的适用性。
2019-06-17 math.ST stat.ML stat.TH
Data-driven priors and their posterior concentration rates
在高维问题中,选择一个先验分布,使得相应的后验具有理想的实际和理论属性可能是具有挑战性的。这就引出了一个问题:这些数据是否可以用来帮助选择一个好的先验?在本文中,我们开发了一个一般的策略,用于构建一个数据驱动或经验的先验和充分条件,相应的后验分布,以达到一定的集中率。其思想是先验应该对可能性大的参数值施加足够的质量。这种数据驱动的中心化的一个有趣的副产品是后验的渐近性质对先验形状不太敏感,这反过来又允许用户使用计算方便的形式的先验,同时保持所需的速率。基于经验先验的自适应和非自适应速率的一般结果,以及密度估计,非参数回归和高维结构化正态模型的插图。
2019-04-16 math.ST stat.TH
Power-Expected-Posterior Priors for Variable Selection in Gaussian Linear Models
在线性模型中贝叶斯变量选择的期望后验先验(EPP)方法的背景下,我们结合了幂先验和单位信息先验方法的思想,同时产生最小信息先验并减少训练样本的影响。结果是,在实践中,我们的功率预期后验(PEP)方法是足够不敏感的训练样本的大小n*,由于PEP的单位信息的建设,一个可以采取n* 等于全数据样本量n和免除训练样本。在本文中,我们专注于高斯线性模型和开发我们的方法在两个不同的基线先验选择:独立Jeffreys(或参考)前,产生的J-PEP后,和Zellner g先验,导致Z-PEP。我们发现,在参考基线先验下,PEP贝叶斯因子的渐近性与Schwartz的BIC准则的渐近性是等价的,从而保证了PEP方法在模型选择中的一致性。我们比较我们的方法的性能,在模拟研究和一个真实的例子,涉及预测的空气污染物浓度从气象协变量,与各种先前定义的变量的贝叶斯因素的客观变量选择。我们的先验,由于其单位信息结构,导致变量选择过程,(1)系统地比具有最小训练样本的基本EPP更简约,同时不牺牲期望的性能特征来实现这种简约;(2)对训练样本的大小是鲁棒的,因此享受上述的优点,完全避免训练样本;以及(3)识别实现良好的样本外预测性能的最大后验模型。
2014-05-20 stat.CO
Marginalized Bayesian filtering with Gaussian priors and posteriors
边缘化技术的贝叶斯滤波问题的假设下,高斯先验和后验和一组顺序更多的约束状态空间模型的假设。该技术提供了以下能力:1)将滤波问题简化为基本的边际矩积分,2)将模型和数值逼近结合到矩积分,以及3)解耦建模和系统组成。后验均值和协方差的封闭形式的表达式作为子空间投影矩阵,子系统模型,和边际矩积分的函数。最后,我们回顾以前的工作,以及如何将结果与卡尔曼和边缘化粒子滤波技术。
2016-07-11 math.ST stat.TH
Lower bounds for posterior rates with Gaussian process priors
与高斯过程先验相关的后验分布收敛速率的上界由van der Vaart和van Zanten在[14]中获得,并用涉及高斯先验的再生核希尔伯特空间的浓度函数表示。在这里,得到了下界对应物。作为推论,我们得到了精确的收敛速率的后验高斯先验在各种设置。此外,我们将[14]中关于Riemann-Liouville先验的上界结果推广到一个连续的参数族。
2008-12-22 math.ST stat.TH
Ultra High-dimensional Multivariate Posterior Contraction Rate Under Shrinkage Priors
近年来,从贝叶斯的角度来看,收缩先验在高维数据分析中受到了广泛的关注。与广泛使用的spike-and-slab先验相比,收缩先验具有更好的计算效率。但是,在许多情况下,不确定度量化中的重要理论性质,特别是后验收缩率并不成立。本文将全局-局部收缩先验应用于协方差阵未知的高维多元线性回归。我们证明了当先验高度集中在零附近且具有厚尾时,系数矩阵和协方差阵的后验收缩率接近最优。当特征数p比样本量n增长得更快时,我们的结果成立,这在现代数据分析中具有很大的意义。我们证明了一类容易实现的规模混合正常先验满足的主要定理的条件。
2020-01-14 math.ST stat.TH
Evaluating Posterior Distributions by Selectively Breeding Prior Samples
使用马尔可夫链蒙特卡罗从后验分布中进行抽样是使贝叶斯数据分析实用化的关键创新。然而,众所周知,MCMC很难调优、诊断和并行化。本教学笔记探讨了通用{ \em non}-马尔可夫链蒙特卡罗方案的变体,用于从后验分布进行采样。基本思想是从先验分布中提取参数值,评估每次提取的可能性,然后复制与其可能性成比例的多次提取。复制后的分布是对后验的近似,当初始样本的数量达到无穷大时,后验变得精确;近似的收敛性很容易分析,并且在Glivenko-Cantelli类上是一致的。虽然不{ \em完全}实用,但该方案易于实现(几行R),易于并行化,并且不需要拒绝,老化,收敛诊断或任何控制设置的调整。我提供了对现有技术的参考,该现有技术以计算和分析的简单性为代价来处理一些实际障碍。
2022-03-17 stat.CO
Strong maximum a posteriori estimation in Banach spaces with Gaussian priors
本文证明了在任意可分Banach空间中,一类相对于高斯先验绝对连续的后验测度具有强最大后验估计量,并放宽了贝叶斯逆问题中对数似然及空间条件,显著扩展了现有结果。
2023-11-01 math.PR math.ST stat.TH
Necessary and Sufficient Conditions for High-Dimensional Posterior Consistency under $g$-Priors
我们检查充要条件后一致性下$g$先验,包括扩展到层次和经验贝叶斯模型。这篇文章的主要特点是,我们允许回归的数量以相同的速度增长的样本量和定义后验一致性下的超向量范数,而不是更传统的欧几里德范数。我们特别考虑了George和Foster(2000)的经验贝叶斯模型、Liang等人(2008)的hyper- $g$ -prior以及Zellner和Siow(1980)考虑的先验。
2015-09-03 math.ST stat.TH
On strong posterior contraction rates for Besov-Laplace priors in the white noise model
本文研究白噪声模型中Besov-Laplace先验的强后验收缩率,证明光滑度匹配先验在Besov空间上达到极小极大最优收缩率,并具备导数估计的插件性质,方法基于Wasserstein距离的新途径。
2024-11-11 math.ST stat.TH
Improving the efficiency and robustness of nested sampling using posterior repartitioning
在现实世界的贝叶斯推断应用中,关于感兴趣的参数的先验假设可能不代表给定数据集的实际值。特别是,如果可能性集中在假设的先验分布的两翼,这可能导致嵌套采样算法对所得后验的极低效率的探索,具有不必要的高相关计算成本。在这种情况下,诸如拓宽先验范围的简单解决方案在现实世界的应用中可能是不合适的或不可能的,例如,当人们希望在分析大量数据集时假设单个标准化先验时,其中感兴趣的参数的真实值可能会变化。因此,这项工作介绍了一种后验重新划分(PR)方法的嵌套抽样算法,解决了这个问题,通过重新定义的可能性和先验,同时保持其产品固定,使后验推理和证据估计保持不变,但嵌套抽样过程的效率显着增加。数值结果表明,PR方法提供了一个简单而强大的改进嵌套抽样算法,以解决不具代表性的先验知识的问题。
2018-10-30 astro-ph.IM stat.CO
Necessary and sufficient conditions for posterior propriety for generalized linear mixed models
该研究针对贝叶斯广义线性混合模型中不当先验可能导致后验不当的问题,推导了不同先验设置下二项、泊松及一般指数族GLMMs后验正当性的充要条件,并通过随机效应模型示例验证了理论结果。
2025-01-16 math.ST stat.AP stat.ME
Empirical priors and coverage of posterior credible sets in a sparse normal mean model
贝叶斯方法为不确定性量化提供了一种自然的手段,即可信集可以很容易地从后验分布中获得。但是,在后验可信集达到名义频率覆盖概率的意义上,这种不确定性量化是有效的吗?研究了稀疏正态均值模型中基于一类经验先验的后验不确定性量化的频率论有效性。特别是,我们证明了我们的边际后验可信区间实现标称频率覆盖概率的条件下略弱于所需的选择一致性和伯恩斯坦-冯米塞斯定理的完整后验,和数值研究表明,我们的经验贝叶斯方法具有优越的频率覆盖概率属性相比,其他完全贝叶斯方法。
2019-08-08 math.ST stat.TH
The Problem of the Priors, or Posteriors?
University of California, Davis(加州大学戴维斯分校)
本文提出“后验问题”以解决先验问题,倡导前瞻性贝叶斯主义,通过将后验信念向真理收敛作为基本规范,为统计学和机器学习中的奥卡姆剃刀提供贝叶斯基础。
2025-06-30 cs.AI math.PR stat.OT
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题,提出基于高斯混合的两步采样方法及降维近似策略,推导了后验混合密度闭式表达式,并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
Posterior Concentration Properties of a General Class of Shrinkage Priors around Nearly Black Vectors
假设我们有一个根据多元正态分布生成的数据,其中有一个固定的未知均值向量,该向量在几乎为黑色的意义上是稀疏的。最优性的贝叶斯估计和后验浓度性质的极小极大风险的$l_2$规范对应于一个非常普遍的类连续收缩先验研究在这项工作中。考虑的先验类是丰富的,足以包括各种各样的重尾先验分布,如,三参数β正态混合(包括马蹄铁),广义双帕累托,逆伽玛和正常指数伽玛先验。假设非零分量的平均向量的数量是已知的,我们表明,贝叶斯估计对应于这一一般类先验达到极小极大风险的$l_2$规范(可能高达一个乘法常数)和相应的后验分布合同周围的真实均值向量在极小极大最优率适当选择的全球收缩参数。此外,我们提供的条件,这些后验分布合同周围相应的贝叶斯估计至少一样快的极小极大风险的$l_2$规范。我们还提供了一个下界的总后验方差的一个重要子类,这一般类收缩先验,包括广义双帕累托先验的形状参数$α=0.5$和三个参数β正常混合物的参数$a=0.5$和$b>0$(包括马蹄铁),特别是。本工作的灵感来自van der Pas等人(2014)最近的工作。在本设置下,马蹄先验的后收缩特性。我们扩展了他们的结果,这类先验知识,并提出了新的统一的证明工作的一个非常广泛的一类一组连续收缩先验。
2015-07-24 math.ST stat.TH
Rates of contraction of posterior distributions based on $p$-exponential priors
本文考虑一类无穷维积测度族,称之为$p$ -指数测度.我们研究了它们的测度论性质,特别是它们的浓度。我们的研究结果被用来发展一个一般的收缩理论的后验分布的非参数模型与$p$ -指数先验在可分的Banach参数空间。我们的方法建立在van der Vaart和van Zanten 2008中高斯过程先验的一般收缩理论基础上,即我们使用先验浓度来验证先验质量和熵条件足以进行后验收缩。然而,特定的浓度特性的$p$ -指数先验导致一个更复杂的熵界,可以产生负面影响所获得的收缩率,这取决于拓扑结构的参数空间。受更复杂的熵界,我们表明,收缩率取决于位置的真参数相对于一定的巴拿赫空间与$p$ -指数措施和小球概率这些措施。例如,我们应用我们的理论在白噪声模型下的Besov规律性的真相,并获得极小极大收缩率使用(重新缩放)$α$ -定期$p$ -指数先验。特别是,我们的研究结果表明,当感兴趣的空间不均匀的未知函数,在后收缩方面,最好使用拉普拉斯,而不是高斯先验。
2020-10-08 math.ST stat.TH
Posterior consistency in multi-response regression models with non-informative priors for the error covariance matrix in growing dimensions
本文在增长维度下研究多响应回归模型中误差协方差矩阵采用逆威沙特尺度混合先验时的后验相合性,建立了回归系数矩阵和协方差矩阵的收缩速率,并分析了q_n/n趋于非零常数时后验不相合的情形。
2024-09-18 math.ST stat.TH
Empirical priors and posterior concentration in a piecewise polynomial sequence model
针对结构化线性模型高维参数推断问题,提出基于共轭经验先验的分段多项式高斯序列模型经验贝叶斯方法,兼具优效后验性质与高效计算,多场景下有限样本表现优于现有方法。
2020-07-31 math.ST stat.TH
Oracle posterior contraction rates under hierarchical priors
我们提供了一个一般的贝叶斯理论框架,以获得后验收缩率下的分层先验设计:第一步先验用于评估模型选择的不确定性,第二步先验量化的先验信念的强度的信号内选择的模型从第一步。特别是,我们建立了非渐近预言后验收缩率下(i)的对数似然比的统计实验的局部高斯条件,(ii)的局部熵条件的维数的模型,和(iii)的第二步附近的最佳逼近信号的充分质量条件。第一步先验可以一般地设计。后验分布具有高斯尾行为,因此所得后验均值也满足预言不等式,自动充当频率论意义上的自适应点估计器。在这些预言率中允许模型错误指定。局部高斯性条件作为实验的非渐近高斯量化的统一尝试,并且可以在[GvdV 07 a]及以后考虑的各种实验中容易地验证。一般的结果被应用在各种问题,包括:(i)跟踪回归,(ii)形状限制保序/凸回归,(iii)高维部分线性回归,(iv)协方差阵估计的稀疏因子模型,(v)非光滑多面体图像边界的检测,和(vi)强度估计的泊松点过程模型。这些新的结果既可以作为理论上的理由,在文献中的实际先前的建议,或作为一个复杂的实验的(近)极大极小自适应估计的一般建设计划的说明。
2021-02-10 math.ST stat.TH
Rates of contraction of posterior distributions based on Gaussian process priors
我们推导了基于高斯过程的非参数或半参数模型的后验分布的收缩率。收缩率取决于真实参数相对于高斯过程的再生核希尔伯特空间和高斯过程的小球概率的位置。我们针对高斯先验的一系列示例和几种统计设置确定了这些量。例如,当先验将对数密度建模为(分数积分)布朗运动时,我们考虑基于从光滑密度模型采样的后验分布的收缩率。我们还考虑了高斯误差的回归和与各种先验相结合的logistic或probit链接函数下的平滑分类。
2008-06-18 math.ST stat.TH
Posterior distributions of Gibbs-type priors
针对Gibbs型先验通用类后验分布未知的问题,本文利用其独有Gibbs性质提出新颖证明方法,给出该类先验的后验分布描述,并通过多个具体案例验证说明。
2023-08-28 math.PR math.ST stat.TH
Posterior consistency of nonparametric conditional moment restricted models
研究了含有无穷维参数$g_0$的非参数条件矩约束模型的估计问题。我们估计它在准贝叶斯的方式,基于有限的信息似然,并调查三种类型的先验后验一致性的影响:(i)截断先验(先验支持的有界集),(ii)薄尾先验(一个先验,有非常薄的尾巴以外的增长有界集)和(iii)正常的前与非收缩方差。此外,允许$g_0$在频率论意义上仅被部分地识别,并且参数空间不需要是紧凑的。使用一个缓慢增长的筛尺寸的后验正则化,它表明,后验收敛到任何小的邻域的识别区域。然后,我们将我们的结果应用到非参数工具回归模型。最后,研究了随机筛维参数下的后验一致性问题。
2012-03-12 math.ST stat.TH
Some Simple Formulas for Posterior Convergence Rates
我们推导出一些简单的关系,展示了如何后验收敛速度与两个驱动因素:一个“惩罚发散”的前,这措施的能力,提出了一个不可忽略的工作模型,以近似真实的模型和“规范复杂性”的前,这措施的复杂性的前支持,加权的先验概率群众的先验分布。这些公式是明确的,不涉及任何必要的假设,易于应用。我们将这种方法应用到模型平均的情况下,得到一些有用的预言不等式,可以优化性能自适应不知道真正的模型。
2014-11-11 math.ST stat.TH
Conditions for Posterior Contraction in the Sparse Normal Means Problem
稀疏正态均值问题的第一个贝叶斯结果被证明为尖峰和厚板先验。然而,从计算的角度来看,这些先验不太方便。同时,大量的连续收缩先验被提出。许多收缩先验可以写成法线的比例混合,这使得它们特别容易实现。我们提出了一般的条件上的先验的局部方差的规模混合的法线,这样,后收缩在极大极小率是有保证的。这些条件要求尾翼至少和拉普拉斯一样重,但不能太重,并且相对于尾翼有大量的质量在零附近,随着稀疏度的增加,质量越大。这些条件给出了在近似黑色稀疏假设下选择收缩先验估计的一些一般准则。我们验证了Ghosh和Chakrabarti(2015)所考虑的先验类的这些条件,其中包括马蹄和正态指数伽玛先验,以及马蹄+,逆高斯先验,正态伽玛先验和尖峰和平板Lasso,从而扩展了收缩先验的数量,已知这些先验会导致极小极大估计率的后验收缩。
2015-10-13 math.ST stat.TH
Criteria for posterior consistency
贝叶斯过程的渐近适用性的频率论条件集中在数据分布的Kullback-Leibler邻域中先验质量的下界。本文的目的是调查的灵活性,后验一致性与i.i.d.的标准。数据我们制定了一个通用的后验一致性定理,适用于良好和错误指定的模型,我们用它来重新推导施瓦茨定理,考虑Kullback-Leibler一致性和制定一致性定理,先验收费度量球。它被推广到筛选模型与Barron的可忽略的质量条件和可分离模型的变化沃克的一致性定理。结果也适用于边际半参数的一致性:支持边界估计被认为是明确的和一致性证明了在Kullback-Leibler先验不存在的模型。其他例子包括一致的密度估计在混合模型与Dirichlet或吉布斯型先验的充分弱支持。关于后验收敛率,它表明,在一个温和的可积性条件下,二阶Ghosal-Ghosh-van der Vaart先验质量条件可以放松到一个下界的Schwartz的Kullback-Leibler邻域的先验质量。后验收敛速率推导出一个简单的,参数模型的重尾分布,其中Ghosal-Ghosh-van der Vaart条件不能满足任何先验。
2018-03-16 math.ST stat.TH