Posterior consistency for partially observed Markov models
在这项工作中,我们建立了后验一致性的参数化家庭的部分观察,完全支配马尔可夫模型。作为一个主要的假设,我们假设先验分布分配给所有的邻居的真实参数的正概率,由预期的Kullback-Leibler分歧之间的家庭成员的马尔可夫转移密度诱导的距离。这个假设一般来说很容易检验。此外,在一些额外的,温和的假设下,我们表明,后验一致性是隐含的最大似然估计的一致性。后者最近也建立了非紧状态空间的模型。然后将结果推广到可能的非紧参数空间和非平稳观测。最后,我们检查我们的假设的例子,包括部分可观察的高斯线性模型与相关噪声和广泛使用的随机波动率模型。
2016-08-25 math.ST stat.TH
Consistency of the posterior distribution and MLE for piecewise linear regression
本文证明了断点未知的两阶段分段线性回归模型的后验分布与Bayes估计的弱相合性。关于断点参数的模型的似然性的不可微性引起了技术困难,我们通过创建手头问题的正则化版本来克服这些困难。我们首先恢复强一致性的正则化版本的感兴趣的数量,使用结果的极大似然估计,然后我们证明,正则化版本和原始版本的问题共享相同的渐近性质。
2012-06-20 math.ST stat.TH
Criteria for posterior consistency
贝叶斯过程的渐近适用性的频率论条件集中在数据分布的Kullback-Leibler邻域中先验质量的下界。本文的目的是调查的灵活性,后验一致性与i.i.d.的标准。数据我们制定了一个通用的后验一致性定理,适用于良好和错误指定的模型,我们用它来重新推导施瓦茨定理,考虑Kullback-Leibler一致性和制定一致性定理,先验收费度量球。它被推广到筛选模型与Barron的可忽略的质量条件和可分离模型的变化沃克的一致性定理。结果也适用于边际半参数的一致性:支持边界估计被认为是明确的和一致性证明了在Kullback-Leibler先验不存在的模型。其他例子包括一致的密度估计在混合模型与Dirichlet或吉布斯型先验的充分弱支持。关于后验收敛率,它表明,在一个温和的可积性条件下,二阶Ghosal-Ghosh-van der Vaart先验质量条件可以放松到一个下界的Schwartz的Kullback-Leibler邻域的先验质量。后验收敛速率推导出一个简单的,参数模型的重尾分布,其中Ghosal-Ghosh-van der Vaart条件不能满足任何先验。
2018-03-16 math.ST stat.TH
Concentration rate and consistency of the posterior under monotonicity constraints
在本文中,我们考虑了众所周知的问题,估计密度函数下的定性假设。更准确地说,我们估计单调非增密度在贝叶斯设置和推导出浓度率的后验分布的Dirichlet过程和有限的混合物前。我们证明了基于先验的后验分布集中在率$(n/\log(n))^{-1/3}$,这是最小最大估计率的\log(n)$因素。我们还研究了在支持密度的任何不动点处的逐点损失和sup范数的后验的行为。我们证明后是一致的损失。
2014-04-14 math.ST stat.TH
Posterior consistency in linear models under shrinkage priors
研究了高维线性模型中回归系数后验分布随维数和观测值数目的增长而变化的渐近行为。我们证明了在简单的充分条件下,后验分布集中在真参数的邻域内。这些条件下流行的收缩先验给定一些稀疏性假设。
2013-05-19 math.ST stat.ME stat.TH
Necessary and Sufficient Conditions for High-Dimensional Posterior Consistency under $g$-Priors
我们检查充要条件后一致性下$g$先验,包括扩展到层次和经验贝叶斯模型。这篇文章的主要特点是,我们允许回归的数量以相同的速度增长的样本量和定义后验一致性下的超向量范数,而不是更传统的欧几里德范数。我们特别考虑了George和Foster(2000)的经验贝叶斯模型、Liang等人(2008)的hyper- $g$ -prior以及Zellner和Siow(1980)考虑的先验。
2015-09-03 math.ST stat.TH
Posterior Consistency in the Binomial $(n,p)$ Model with Unknown $n$ and $p$: A Numerical Study
当参数$n$和$p$都未知时,从$k$独立Bin $(n,p)$随机变量估计参数与各种应用相关。如果$n$大而$p$小,则特别困难。在过去的几十年里,一些文章提出了贝叶斯方法来估计$n$在这种情况下,但渐近结果只能建立在\cite{Schneider}最近。在那里,$n$的后收缩在有问题的参数方案中被证明,其中$n\rightarrow\infty$和$p\rightarrow0$以一定的速率。在这篇文章中,我们数值研究多远的理论上限$n$可以放宽模拟,而不失去后验一致性。
2018-09-07 math.ST stat.TH
Posterior Consistency for a Non-parametric Survival Model under a Gaussian Process Prior
在本文中,我们证明了几乎必然的一致性生存分析模型,它把一个高斯过程,映射到单位区间,作为所谓的风险函数的先验。我们假设我们的数据由属于$\mathbb{R}^{+}$的生存寿命$T$和$[0,1]^d$的协变量给出,其中$d$是任意维。我们定义了一个适当的度量生存功能,并证明后验一致性与此度量。我们的证明是基于Schwartz(1965)定理的一个推广,该定理给出了在非独立同分布随机变量的情形下几乎必然相合的一般条件。由于我们的数据的性质,高斯过程的$\mathbb{R}^+$上的几个结果被证明,这可能是独立的利益。
2016-11-07 math.ST stat.TH
Posterior consistency of nonparametric conditional moment restricted models
研究了含有无穷维参数$g_0$的非参数条件矩约束模型的估计问题。我们估计它在准贝叶斯的方式,基于有限的信息似然,并调查三种类型的先验后验一致性的影响:(i)截断先验(先验支持的有界集),(ii)薄尾先验(一个先验,有非常薄的尾巴以外的增长有界集)和(iii)正常的前与非收缩方差。此外,允许$g_0$在频率论意义上仅被部分地识别,并且参数空间不需要是紧凑的。使用一个缓慢增长的筛尺寸的后验正则化,它表明,后验收敛到任何小的邻域的识别区域。然后,我们将我们的结果应用到非参数工具回归模型。最后,研究了随机筛维参数下的后验一致性问题。
2012-03-12 math.ST stat.TH
Large Deviation Asymptotics and Bayesian Posterior Consistency on Stochastic Processes and Dynamical Systems
本文结合 Varadhan 引理、淬火/退火大偏差与指数逼近,建立长程相关随机过程及动力系统的广义贝叶斯后验收敛性框架,并给出混合过程与 Markov 过程的新结果。
2023-04-24 math.DS math.PR math.ST
Posterior consistency in misspecified models for i.n.i.d response
我们推导出后验一致性的条件时,响应是独立的,但不相同的分布($i.n.i.d$)和模型是“误指定”的一个家庭的密度参数化的一个可能的无限维参数。我们的方法与Kleijn和van der Vaart(2006)中为$i.i.d$模型开发的关键思想以及Ramamoorthi等人随后的简化有关。(2014)(未出版的手稿)。虽然这两篇论文的主要结果在很大程度上依赖于凸性的指定家庭的密度,参数家庭很少凸。在这篇文章中,我们采取了一种直接的方法来获得后验一致性关于自然拓扑的参数空间上,而不必施加条件的凸包的参数家庭。我们首先得到我们的结果的情况下,响应是$i.i.d$,然后将其扩展到$i.n.i.d$的情况。作为一个例子,我们证明了贝叶斯分位数估计问题的结果的适用性。
2014-08-26 math.ST stat.TH
Posterior consistency of Gaussian process prior for nonparametric binary regression
考虑响应概率是一组协变量的未知光滑函数的二元观测。假设响应概率函数上的先验是由高斯过程通过链接函数映射到单位区间引起的。在本文中,我们研究的一致性所产生的后验分布。如果协方差内核的衍生工具,以所需的顺序和内核的带宽参数被允许采取任意小的值,我们表明,后验分布是一致的$L_1$距离。作为我们的证明的辅助结果,我们表明,在一定的条件下,高斯过程分配给一个连续函数的均匀邻域的正概率。这个结果可能是独立的兴趣在文献中的小球概率的高斯过程。
2007-02-23 math.ST stat.TH
Posterior Consistency in Parametric Models via a Tighter Notion of Identifiability
本文证明参数模型中仅需适度加强可识别性即可保证贝叶斯后验一致性,无需经典正则条件,并阐明贝叶斯与频率学派不一致性的不同机制。
2025-05-25 math.ST stat.TH
Bayesian posterior consistency in the functional randomly shifted curves model
在本文中,我们考虑所谓的形状不变模型,它代表的估计的一个函数$f^0$提交的随机平移规律$g^0$在白噪声模型。我们感兴趣的是这样一个模型时的变形规律是未知的。我们的目标是恢复过程$\PP_{f^0,g^0}$以及$f^0$和$g^0$的规律。从这个角度来看,我们采用贝叶斯的观点,并找到$f$和$g$的先验,使得当$n$走向$+\infty$时,后验分布以多项式速率集中在$\PP_{f^0,g^0}$周围。我们得到了形状$f^0$和分布$g^0$的对数后验收缩率。我们还推导出对数下界估计的$f^0$和$g^0$在频率论范式。
2013-03-12 math.ST stat.TH
Bayes factor consistency
良好的大样本性能通常是任何模型选择标准的最低要求。本文重点讨论了贝叶斯因子的一致性性质,贝叶斯因子是一种常用的模型比较工具,最近在文献中受到了极大的关注。我们全面审查现有成果。由于存在要考虑的各种各样的设置,例如参数与非参数、嵌套与非嵌套等,我们认为一个统一的架构具有教育意义。利用Chib(1995)的基本边际似然恒等式,通过将边际似然比的自然对数分解为三个分量,研究了贝叶斯因子渐近性。这些分别是似然、先验密度和后验密度的对数比。这产生了一个解释的对数比的后验作为一个惩罚项,并强调,要理解贝叶斯因子的一致性,驱动后验一致性在每个相应的模型进行比较的先验支持条件应对比后验收缩率,他们暗示。
2016-07-01 math.ST stat.TH
Posterior Consistency for Missing Data in Variational Autoencoders
University of Vienna(维也纳大学)
针对含缺失值数据训练变分自编码器时编码器后验分布不一致的问题,提出了后验一致性的定义与正则化方法,改进了训练目标并提升了重建质量与下游任务性能。
2023-10-25 cs.LG stat.ML
Posterior Consistency of Semi-Supervised Regression on Graphs
Caltech(加州理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
基于图的半监督回归(SSR)是从一个小的顶点子集上的值(标签)估计加权图上的函数值的问题。本文关注的是SSR的一致性在分类的上下文中,在设置标签有小的噪声和底层的图形权重是一致的聚类良好的节点。我们提出了一个贝叶斯公式的SSR中,加权图定义了一个高斯先验,使用图形拉普拉斯算子,和标记的数据定义的可能性。我们根据量化图中的小标签错误和固有聚类的参数来分析后验测量围绕地面真实值的收缩率。我们得到的收缩率的界限,并通过数值实验说明他们的尖锐性。分析还提供了进入先验定义的超参数的选择。
2021-03-24 cs.LG stat.ML
Posterior consistency in multi-response regression models with non-informative priors for the error covariance matrix in growing dimensions
本文在增长维度下研究多响应回归模型中误差协方差矩阵采用逆威沙特尺度混合先验时的后验相合性,建立了回归系数矩阵和协方差矩阵的收缩速率,并分析了q_n/n趋于非零常数时后验不相合的情形。
2024-09-18 math.ST stat.TH
Posterior Consistency under dependent errors in non-linear inverse problems with applications to time evolution equations
Department of Pure Mathematics and Mathematical Statistics, University of Cambridge(剑桥大学纯数学与统计数学系)
针对非线性逆问题中观测噪声相依的情形,给出后验一致性的充分条件,并应用于纳维-斯托克斯方程与空间非均匀反应-扩散方程,提出含时间累积的达西输运算子新稳定性估计。
2026-10-07 math.AP math.ST stat.TH
L-Divergence Consistency for a Discrete Prior
连续数据抽样分布的可数集M上的后验分布堆积在真实分布r在M上的L-投影处,只要L-投影是唯一的。如果r在M上有多个L-投影,则后验概率在它们之间平均分配。
2007-10-10 math.PR math.ST stat.TH
On the consistency of the posterior distribution for nonlinear PDE parameter identification
The Chinese University of Hong Kong(香港中文大学)
本文研究了非线性PDE参数识别中后验分布的收缩率,提出了一种放松高斯过程先验条件的方法,并通过三个反问题验证了理论。
2026-09-22 cs.NA math.NA math.ST
Improving Decoupled Posterior Sampling for Inverse Problems using Data Consistency Constraint
ZJU-UIUC Institute(ZJU-UIUC联合学院);Zhejiang University(浙江大学);School of Information Science and Technology(信息科学与技术学院);Tsinghua University(清华大学);Institute for Physics of Intelligence(智能物理研究所);The University of Tokyo(东京大学)
针对扩散模型逆问题解耦后验采样反向过程忽略测量信息导致误差的问题,提出整合数据一致性约束的GDPS方法,扩展至潜在扩散模型和Tweedie公式,在FFHQ等数据集上实现更优性能。
2025-04-14 cs.CV cs.LG stat.ML
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度(ALD)被用作贝叶斯分位数回归的工作似然。Sriram等人(2013)基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性,但Sriram和Ramamoorthi(2017)强调,该论点仅适用于小于$\sqrt{n}$的比率。因此,$\sqrt{n}-$率的问题仍然没有得到解决,但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中,我们得出的结果,以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置,分位数函数可能是非线性的。特别地,我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
On Posterior consistency of Bayesian Changepoint models
虽然最近在高维线性模型的贝叶斯模型选择和变量选择方面取得了很多进展,但与频率论不同,文献中存在变点的工作并不多。我们考虑一个分层贝叶斯线性模型,其中通过均值模型影响观测值的协变量的活动集在不同的时间段之间可以变化。这种结构可能出现在社会科学/经济科学中,例如基于外部经济因素的房价突然变化,基于社会和建筑环境因素的犯罪率变化等。使用适当的自适应先验,我们概述了一个分层贝叶斯方法的发展,可以选择真正的变化点以及真正的协变量,具有很高的概率。我们提供了第一个详细的理论分析后验一致性或无协变量,在适当的条件下。吉布斯抽样技术提供了一种有效的计算策略。我们也考虑小样本模拟研究以及应用于犯罪预测的应用。
2021-02-25 math.ST stat.ME stat.TH
Consistency of variational approximations under bounded Kullback--Leibler divergence
La Trobe University(拉筹伯大学);Kyushu University(九州大学);University of Queensland(昆士兰大学);Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、拉格朗日实验室)
研究变分近似在贝叶斯推断中继承后验一致性的条件,证明在一般度量空间上,若近似测度与目标测度序列的KL散度一致有界且目标后验弱收敛到真参数处的狄拉克测度,则变分序列也一致。
2026-06-12 math.ST stat.TH
Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models
高维多元数据的协方差估计与选择是现代统计学中的一个基本问题。高斯有向无环图(DAG)模型是用于此目的的一类流行的模型。高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性,稀疏性模式又对应于对基础变量的特定条件独立性假设。近年来,各种先验已经开发了贝叶斯推断在DAG模型,但这些模型的关键收敛性和稀疏性选择属性还没有得到彻底的研究。这些先验知识中的大多数是Wishart分布在DAG上下文中的适应或概括。在本文中,我们考虑了灵活的和一般的类,这些“DAG Wishart”先验与多个形状参数。在弱正则性假设下,当变量p随样本量样本量n以适当的次指数速率增长时,我们建立了强图选择一致性和后验收敛率.
2017-10-11 math.ST stat.ME stat.TH
Posterior consistency of Pólya trees for deconvolution under the linear model
Department of Statistics, The Hebrew University of Jerusalem(耶路撒冷希伯来大学统计系)
研究线性模型反卷积问题,提出基于Pólya树先验的贝叶斯非参数方法,证明在X^TX最小特征值条件下后验分布依上确界范数集中于真实密度g0。
2026-06-11 math.ST stat.TH
Posterior Consistency for Recovering Initial States in Nonlinear Subdiffusion Equations
Xi’an Jiaotong University(西安交通大学)
该研究针对半线性时间分数次扩散方程的初始状态,赋予Whittle--Matérn过程重标高斯先验,证明解的正则性与后验收缩率,并构造小波包集合证明极小极大下界。
2026-10-12 math.AP math.ST stat.TH
Posterior Model Consistency in Variable Selection as the Model Dimension Grows
回归分析中变量选择的贝叶斯方法的一致性分析大多涉及两两一致性,即贝叶斯因子的一致性。然而,回归中的变量选择是在给定的一类回归模型中进行的,其中自然变量选择器是模型的后验概率。在本文中,我们分析了后验模型概率的一致性时,随着样本量的增长,潜在的回归数量的增长。后验模型一致性的新颖之处在于,它不仅依赖于通过贝叶斯因子得到的模型参数的先验,而且还依赖于模型的先验,因此它是为模型和模型参数选择先验的有用工具。我们已经发现,通常用于变量选择的某些类别的先验会产生后验模型不一致性,而这些先验的混合物会改善这种不受欢迎的行为。对于中等样本量,我们评估贝叶斯成对变量选择程序,通过比较其频率论I型和II型错误概率。这提供了有价值的信息来区分变量选择常用的模型参数的先验。
2015-07-29 stat.ME
On posterior consistency of data assimilation with Gaussian process priors: the 2D Navier-Stokes equations
该研究针对带高斯过程先验初始条件的二维Navier-Stokes方程贝叶斯数据同化模型,证明了充分测量下后验分布的一致性与收敛速率,还给出了解的反向唯一性定量估计。
2024-07-09 cs.NA math.AP math.NA
Consistency of the posterior distribution in generalised linear inverse problems
对于不适定的反问题,正则化的解决方案可以被解释为一个模式的后验分布在贝叶斯框架。这个框架丰富了解决方案的集合,因为其他后验估计可以用作逆问题的解决方案,例如在实践中更容易计算的后验均值。本文证明了在有限维情形下,对于一般似然和先验分布,Ky Fan度量下不适定线性反问题的贝叶斯解的相合性.这一结果可以应用于研究无穷维问题,让未知参数的尺寸增长到无穷大,可以被视为离散的网格或频谱近似的无穷维问题。假设似然函数和先验分布是指数形式的,其中包括指数族的分布,并且是可微的。观察可以是依赖的。不需要假设观测的有限矩,例如期望值或方差,从而允许可能的非正则似然,并允许非共轭和不适当的先验。如果方差存在,它可能是异方差的,也就是说,它可能依赖于未知函数。我们观察到相当令人惊讶的现象时,我们的结果的频谱近似框架,它是可能实现的参数收敛速率,即问题成为自正则化。我们还考虑了一个特殊的情况下,未知参数的边界上的参数集,并表明,在这种情况下的收敛速率是快于一个内点参数。
2013-04-19 math.ST stat.TH
Nearly optimal Bayesian Shrinkage for High Dimensional Regression
在过去的十年中,收缩先验在高维数据的贝叶斯分析中受到了广泛的关注。本文建立了高维线性回归的后验相合性,它具有厚而平的尾,并且在零的一个很小的邻域内分配了足够大的概率质量。在后验模拟中,收缩先验在效率上与钉板先验相比,具有接近最优的后验收缩率和变量选择一致性。数值结果表明,在后验一致性条件下,贝叶斯方法在变量选择上比正则化方法如Lasso和SCAD能得到更好的结果。本文还建立了一个Bernstein von-Mises型结果,为回归系数估计的不确定性量化提供了一种简便的方法。
2022-10-08 math.ST stat.TH
Minimax Posterior Convergence Rates and Model Selection Consistency in High-dimensional DAG Models based on Sparse Cholesky Factors
本文研究了经验稀疏Cholesky先验下的高维稀疏有向无环图模型。其中,强模型选择一致性或图选择一致性是在比现有文献更一般的条件下得到的。与Cao,Khare和Ghosh(2017)相比,所需条件在Cholesky因子中非零元素的维数,稀疏性和下界方面有所减弱。此外,我们的结果不需要不可表示的条件,这是必要的Lasso类型的方法。我们还得到了精度矩阵和Cholesky因子关于各种矩阵范数的后验收敛速度。所得的后验收敛速度是现有贝叶斯方法中最快的。特别是,我们证明了我们的后验收敛速度的Cholesky因素是极大极小或至少接近极大极小取决于真正的稀疏的相对大小为整个尺寸。仿真研究表明,该方法优于竞争的方法。
2018-11-15 stat.ME
High-dimensional posterior consistency for hierarchical non-local priors in regression
贝叶斯变量选择中调整参数的选择是现代统计学中的一个关键问题。特别地,对于非局部先验的贝叶斯线性回归,非局部先验密度中的尺度参数是一个重要的调整参数,它反映了非局部先验密度在零附近的离散度,并隐含地决定了将收缩到零的回归系数的大小.当前的方法将尺度参数视为给定的,并且基于先前的覆盖/渐近考虑来建议选择。在本文中,我们考虑了(Wu,2016)中引入的完全贝叶斯方法,其中具有pvp非局部先验和关于调整参数的适当的逆伽马先验,以分析潜在的理论性质。在标准的规律性假设下,我们建立了强的模型选择的一致性,在高维设置,其中$p$被允许以多项式的速度增加n$,甚至在一个次指数的速度与n。通过模拟研究,我们证明了我们的模型选择过程可以优于其他贝叶斯方法,处理的尺度参数给定的,常用的惩罚似然方法,在一系列的模拟设置。
2019-02-22 math.ST stat.TH
Posterior Consistency via Precision Operators for Bayesian Nonparametric Drift Estimation in SDEs
本文研究了连续时间数据中一维扩散周期漂移函数的非参数估计的贝叶斯方法。重写的过程中的本地时间的可能性,并指定一个高斯前精度算子的微分形式,我们表明,后验也是高斯精度算子也是微分形式。由此产生的表达式是明确的,并导致算法是容易实现的。使用新的功能极限定理的本地时间的扩散的圆,我们绑定的速度后合同周围的真实漂移功能。
2012-08-25 stat.ME
On A Necessary Condition For Posterior Inconsistency: New Insights From A Classic Counterexample
本文重审 Barron 经典反例,证明在一大类密度估计模型中 Hellinger 后验不一致需持续集中于指数高似然比密度,因而只可能源于不现实的病态先验。
2025-10-20 math.ST stat.TH
Meta-Posterior Consistency for the Bayesian Inference of Metastable System
Freie Universität Berlin, Department of Mathematics and Computer Science and Center for Scalable Data Analytics and Artificial Intelligence, Universität Liepzig(柏林自由大学数学与计算机科学系及可扩展数据与人工智能研究中心,莱比锡大学);Center for Scalable Data Analytics and Artificial Intelligence and Department of Computer Science, Universität Liepzig and Max Planck Institute for Mathematics in the Natural Sciences and Duke University, Departments of Statistical Science, Mathematics, Computer Science, and Biostatistics & Bioinformatics(可扩展数据与人工智能研究中心及计算机科学系,莱比锡大学;数学自然科学研究院和杜克大学统计科学、数学、计算机科学及生物统计与生物信息学系)
本文在贝叶斯框架下引入并量化了亚稳态系统的元一致性,探讨如何利用该性质高效推断大系统的局部子系统模型,并分析了其与一致遍历及非遍历扩散模型谱性质的关系。
2025-07-01 cs.LG math.PR math.ST
Both necessary and sufficient conditions for Bayesian exponential consistency
在过去的十年中,贝叶斯非参数过程的渐近理论有了显著的发展。指数一致性在这方面发挥了重要作用。已知$f_0$在先验的Kullback-Leibler支持下的条件不能保证后验的指数一致性。许多作者得到了后验的指数相合性的额外充分条件,例如,参见Schwartz(1965),Barron,Schervish and Wasserman(1999),Ghosal,Ghosh and Ramamoorthi(1999),Walker(2004),Xing and Ranneby(2008)。然而,由于Kullback-Leibler支持条件,很少知道的充要条件和充分条件。本文给出了一类既有充要条件。作为结果,我们得到了一个简单的贝叶斯指数一致性的充分条件,这是弱于以前的充分条件。
2008-12-05 math.ST stat.TH
High-Dimensional Multivariate Posterior Consistency Under Global-Local Shrinkage Priors
本文研究了带有$p$回归变量和$q$响应变量的经典多元线性回归模型的稀疏贝叶斯估计。在单响应$y$的单变量贝叶斯线性回归中,收缩先验可以表示为正态密度的尺度混合,用于获得系数的稀疏估计。在本文中,我们扩展使用这些先验的多变量的情况下,估计一个$p \times q$系数矩阵$\mathbf{B}$。我们推导出贝叶斯多元线性回归框架下的后验一致性的充分条件,并证明我们的方法实现后验一致性,即使当$p>n$,甚至当$p$增长与样本量的近指数率。我们推导出一个有效的吉布斯抽样算法,并提供了一个全面的R包称为MBSP的实施。最后,我们通过仿真和数据分析表明,我们的模型具有良好的有限样本性能。
2018-04-16 stat.ME
Posterior consistency of Dirichlet mixtures of beta densities in estimating positive false discovery rates
近年来,多重假设检验已成为统计研究的前沿,表面上与基因组学和其他一些新兴领域的应用有关。错误发现率(FDR)及其变体提供了非常重要的概念,在这种情况下,错误的经典测试问题中的错误概率的作用。准确估计阳性FDR(pFDR),FDR的一种变体,在评估和控制这一措施是必不可少的。在最近的一篇论文中,作者提出了一种基于模型的非参数贝叶斯方法来估计pFDR函数。特别地,p值的密度被建模为降低的β密度的混合物,并且适当的狄利克雷过程被认为是混合度量的先验。结果表明,所产生的程序在模拟中工作良好。在本文中,我们提供了一些理论结果来支持β混合模型的密度的p值,并表明,在适当的条件下,所得到的后验是一致的假设的数量增长到无穷大。
2008-05-15 math.ST stat.TH
Posterior asymptotics of nonparametric location-scale mixtures for multivariate density estimation
密度估计是贝叶斯非参数估计最成功的应用之一。特别是,Dirichlet过程混合的法线是密度估计的黄金标准,其渐近性质已被广泛研究,特别是在单变量的情况下。然而,实践者和目前的理论文献之间存在差距。到目前为止,后验渐近结果在多变量的情况下,仅适用于位置混合的高斯内核与独立的前共同的协方差阵,而在实践中,以及从概念的角度来看,位置-尺度混合往往是可取的。在本文中,我们解决后验一致性,这样的一般混合模型,通过适应收敛速度的结果,结合了通常的低熵,高质量的筛选方法与适当的可求和条件。具体来说,我们建立一致性的Dirichlet过程混合高斯内核与各种事先规格的协方差阵。后收敛速度也进行了讨论。
2015-07-01 math.ST stat.TH
Asymptotics for posterior hazards
生存分析中的一个重要问题是风险率的研究和建模。在贝叶斯非参数框架内,一种自然和流行的方法是将风险率建模为关于完全随机测量的核混合物。在本文中,我们提供了一个全面的分析,这样的模型的渐近行为。我们调查的后验分布的一致性和固定样本量中心极限定理的线性和二次泛函的后验风险率。一般的结果,然后专门为各种特定的内核和混合措施产生的一致性,在最小的条件和整洁的中心极限定理分布的泛函。
2009-08-13 math.ST stat.TH
Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency
Texas A& M University(得克萨斯农工大学);Purdue University(普渡大学)
本文研究贝叶斯框架下机会约束随机优化问题,证明使用近似后验分布所得最优值具有频率学派统计一致性并给出概率收敛速率,同时证明问题的凸可行性,并在M/M/c排队模型上验证了方法有效性。
2022-10-01 cs.LG math.OC math.ST
Posterior Convergence of Nonparametric Binary and Poisson Regression Under Possible Misspecifications
在这篇文章中,我们研究了非参数二元和Poisson回归在可能的模型误设定下的后验收敛性,假设一般的随机过程具有适当的性质。我们的二元回归模型设置和目标类似于Ghosal和Roy(2006),其中作者使用了熵界和指数相合检验的方法,并使用了筛法来实现与高斯过程先验的一致性。相比之下,对于二元和泊松回归,使用一般的随机过程先验,我们的方法包括验证渐近均分性质以及筛分方法,这是Shalizi(2009)的一般结果的一种机动,甚至对错误指定的模型也有用。此外,我们不仅要建立后验一致性,还要建立后验概率收敛的速率,即Kullback-Leibler发散速率。我们还研究了传统的后验收敛速度。有趣的是,从主观贝叶斯的角度来看,我们将表明,后验预测分布可以准确地近似最好的可能的预测分布在这个意义上的Hellinger距离,以及两个分布之间的全变差距离可以趋于零,尽管误指定。
2020-05-01 math.ST stat.TH
On Posterior Consistency of Bayesian Factor Models in High Dimensions
因子模型作为一种原则性的降维技术,已被广泛应用于社会科学、经济学、生物信息学等诸多领域。然而,在高维环境中,进行“正确的”贝叶斯因子分析可能是微妙的,因为它需要仔细规定的先验分布和合适的计算策略。特别是,我们分析的问题有关的尝试是“非信息”的因素加载矩阵的元素,特别是稀疏贝叶斯因子模型在高维,并提出解决方案。我们在这里表明,为什么采用正交因子假设是适当的,可以导致一致的后验推断的加载矩阵的条件下,真正的特质方差和分配的非零元素在真正的加载矩阵。我们还提供了一个有效的吉布斯采样器,根据Rockova和George(2016)的先验设置和因子矩阵上的均匀正交因子假设进行完整的后验推断。
2021-01-01 stat.ME
Bayesian inference for high-dimensional decomposable graphs
在本文中,我们考虑高维高斯图形模型,真正的底层图是可分解的。提出了一种分层的$G$ -Wishart先验,对精度矩阵及其图结构进行贝叶斯推理。近年来,虽然基于$G$ -Wishart先验的后验渐近性得到了越来越多的关注,但大多数结果都假设了适度的高维环境,其中变量数$p$小于样本量$n$。然而,这种假设在许多实际应用中可能不成立,如基因组学,语音识别和气候学。出于这个差距,我们调查下的高维设置,其中$p$可以远远大于$n$的后验的渐近性质。在此高维环境下,得到了两两贝叶斯因子一致性、后验比一致性和图选择一致性。进一步,在矩阵$\ell_1$ -范数下,得到了精确矩阵的后验收敛速度,证明了该收敛速度与稀疏精确矩阵的minimax收敛速度一致.仿真研究证实,所提出的贝叶斯过程优于竞争对手。
2021-02-17 math.ST stat.TH
Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck
U.S. Army Research Laboratory(美国陆军研究实验室);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
高斯过程为广泛应用于科学和工程的非线性非参数贝叶斯推断提供了一个框架。不幸的是,它们的计算负担与训练样本量成立方比例,在样本永久到达的情况下,训练样本量接近无穷大。这个问题需要近似用于流数据,迄今为止大多缺乏收敛保证。因此,我们开发了第一个在线高斯过程近似,它保持了对总体后验的收敛,即,渐近后验一致性,同时改善其棘手的复杂性增长与样本量。我们提出了一个在线压缩方案,每个后验更新后,修复一个错误的邻居相对于Hellinger度量集中在当前的后验,和greatlesses抛出过去的内核字典元素,直到它的边界被击中。我们称之为吝啬的在线高斯过程(POG)的方法。为了减小误差半径,精确的渐近一致性被保持(定理1(i)),代价是极限中的无限记忆。另一方面,对于恒定的误差半径,POG收敛到人口后验的邻域(定理1(ii)),但在最坏的情况下,由特征空间的度量熵确定的有限记忆(定理2)。几个非线性回归问题的实验结果,阐明了这种方法的优点相比,固定的子空间维度定义的历史,过去的点的替代品。
2021-07-15 cs.LG math.ST stat.ML
Consistency of Bayesian Linear Model Selection With a Growing Number of Parameters
参数越来越多的线性模型在现代统计学中得到了广泛的应用。这类模型的一个重要问题是变量的选择问题。贝叶斯方法,它提供了一个随机搜索的信息变量,已经得到普及。本文研究了当模型维数$p$随样本量$n$增长时贝叶斯模型选择的渐近性质。我们考虑$p\le n$,并提供了充分条件,在此条件下:(1)大概率下,真实模型(从中抽取样本)的后验概率均匀地支配任何不正确模型的后验概率;(2)大概率下,真实模型的后验概率收敛于1。(1)和(2)都保证在贝叶斯框架下选择真实模型。我们还演示了(1)成立但(2)失败的几种情况,这说明了这两个属性之间的差异。最后给出了模拟算例来说明主要结果。
2012-02-02 math.ST stat.TH
Gibbs posterior convergence and the thermodynamic formalism
在本文中,我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验,标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括(隐藏)马尔可夫链模型,包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时,Gibbs后验分布在参数空间上的渐近行为。特别是,我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统,我们表明,吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下,我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系,这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。
2019-01-24 math.DS math.PR math.ST
Consistency of mixture models with a prior on the number of components
本文建立了先验为组分个数的贝叶斯有限混合模型的后验相合性的一般条件。也就是说,当数据是从假设的分量分布族上的有限混合生成时,我们提供了充分条件,在该条件下后验集中在真实参数值的邻近区域。具体来说,我们建立几乎必然的一致性的组件的数量,混合物的权重,和组件的参数,到一个置换的组件标签。这里所采取的方法是基于Doob定理,它具有在非常一般的条件下保持的优点,以及仅在先验下具有概率1的一组参数值处保证一致性的缺点。然而,我们表明,事实上,对于常用的选择之前,这会产生一致性勒贝格-几乎所有的参数值-这是令人满意的最实际的目的。我们的目标是以最大限度地提高清晰度,通用性和易用性的方式制定结果。
2022-05-06 math.ST stat.TH
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题,其解等价于贝叶斯后验分布的再生核希尔伯特空间(RKHS)嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外,优化问题导致了一个新的正则化的后验嵌入估计,这是更快,并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致,其一致性仍有待建立。我们的理论工作解决了这个开放的问题,并在回归设置中提供了一致性分析。基于我们的优化配方,我们提出了一个灵活的贝叶斯后验正则化框架,这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务,并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
On convergence rates of Bayesian predictive densities and posterior distributions
贝叶斯后验分布的频率型大样本性质,如一致性和收敛速度,在非参数问题中是重要的考虑因素。在本文中,我们给出了贝叶斯渐近分析的基础上,主要是预测密度。我们的分析是统一的,在这个意义上,基本上可以采取相同的方法来开发收敛速度的结果在iid,错误指定的iid,独立的非iid,和依赖的数据情况。
2012-09-29 math.ST stat.TH
Prior-Posterior Derived-Predictive Consistency Checks for Post-Estimation Calculated Quantities of Interest (QOI-Check)
针对估计后自定义计算的感兴趣量(QOI)校准与解读易出错的问题,本文提出结合基于模拟的校准(SBC)和留出预测检验(HPC)的QOI-Check方法,以提升贝叶斯工作流中QOI相关结论的可靠性与可信度。
2025-03-20 stat.ME
Bayesian non-parametric inference for $Λ$-coalescents: consistency and a parametric method
研究了单位区间上概率测度参数化的具有常返突变的$Λ$ -聚结过程的$Λ$ -测度的贝叶斯非参数推断.给出了观测值为时间序列时后验一致性先验的可验证准则,并证明了当所有观测值同时发生时,任何非平凡先验都是不一致的.然后,我们表明,给定的数据集的大小$n \in \mathbb{N}$的可能性是恒定的$Λ$ -措施,其领先的$n - 2$时刻同意,并专注于推断截断序列的时刻。我们提供了一个大类的泛函,可以使用有限的计算给出了一个可信的区域后截断矩序列,和一个伪边缘梅特罗波利斯-黑斯廷斯算法采样后。最后,我们比较了效率的准确和嘈杂的伪边缘算法,并没有延迟接受加速使用模拟研究。
2017-01-23 math.PR math.ST q-bio.PE