Kullback-Leibler Consistency of $p$-dimensional Pólya Tree Posteriors and Differential Entropy Estimation
Institute of Mathematics and Statistics, University of São Paulo(圣保罗大学数学与统计学院)
本文研究了$p$-维Pólya树后验的Kullback-Leibler一致性,并提出了一种在大维度下具有一致性的微分熵估计方法。
2026-01-05 math.ST stat.TH
Posterior consistency for partially observed Markov models
在这项工作中,我们建立了后验一致性的参数化家庭的部分观察,完全支配马尔可夫模型。作为一个主要的假设,我们假设先验分布分配给所有的邻居的真实参数的正概率,由预期的Kullback-Leibler分歧之间的家庭成员的马尔可夫转移密度诱导的距离。这个假设一般来说很容易检验。此外,在一些额外的,温和的假设下,我们表明,后验一致性是隐含的最大似然估计的一致性。后者最近也建立了非紧状态空间的模型。然后将结果推广到可能的非紧参数空间和非平稳观测。最后,我们检查我们的假设的例子,包括部分可观察的高斯线性模型与相关噪声和广泛使用的随机波动率模型。
2016-08-25 math.ST stat.TH
Consistency of the posterior distribution and MLE for piecewise linear regression
本文证明了断点未知的两阶段分段线性回归模型的后验分布与Bayes估计的弱相合性。关于断点参数的模型的似然性的不可微性引起了技术困难,我们通过创建手头问题的正则化版本来克服这些困难。我们首先恢复强一致性的正则化版本的感兴趣的数量,使用结果的极大似然估计,然后我们证明,正则化版本和原始版本的问题共享相同的渐近性质。
2012-06-20 math.ST stat.TH
Criteria for posterior consistency
贝叶斯过程的渐近适用性的频率论条件集中在数据分布的Kullback-Leibler邻域中先验质量的下界。本文的目的是调查的灵活性,后验一致性与i.i.d.的标准。数据我们制定了一个通用的后验一致性定理,适用于良好和错误指定的模型,我们用它来重新推导施瓦茨定理,考虑Kullback-Leibler一致性和制定一致性定理,先验收费度量球。它被推广到筛选模型与Barron的可忽略的质量条件和可分离模型的变化沃克的一致性定理。结果也适用于边际半参数的一致性:支持边界估计被认为是明确的和一致性证明了在Kullback-Leibler先验不存在的模型。其他例子包括一致的密度估计在混合模型与Dirichlet或吉布斯型先验的充分弱支持。关于后验收敛率,它表明,在一个温和的可积性条件下,二阶Ghosal-Ghosh-van der Vaart先验质量条件可以放松到一个下界的Schwartz的Kullback-Leibler邻域的先验质量。后验收敛速率推导出一个简单的,参数模型的重尾分布,其中Ghosal-Ghosh-van der Vaart条件不能满足任何先验。
2018-03-16 math.ST stat.TH
Concentration rate and consistency of the posterior under monotonicity constraints
在本文中,我们考虑了众所周知的问题,估计密度函数下的定性假设。更准确地说,我们估计单调非增密度在贝叶斯设置和推导出浓度率的后验分布的Dirichlet过程和有限的混合物前。我们证明了基于先验的后验分布集中在率$(n/\log(n))^{-1/3}$,这是最小最大估计率的\log(n)$因素。我们还研究了在支持密度的任何不动点处的逐点损失和sup范数的后验的行为。我们证明后是一致的损失。
2014-04-14 math.ST stat.TH
Rate of uniform consistency for a class of mode regression on functional stationary ergodic data. Application to electricity consumption
研究了函数平稳遍历数据下一类核条件模估计的渐近性质。为了更精确地在这个问题上,在遍历数据设置,我们考虑一个随机元素$(X, Z)$采取的值在一些半度量抽象空间$E\times F$。对于定义在空间$F$和$x\in E$上的实函数$φ$,我们考虑给定事件$``X=x"$的实随机变量$φ(Z)$的条件模.在估计条件模函数$θ_φ(x)$时,利用核估计,证明了该估计在Vapnik-Chervonenkis函数类$φ$上一致地与速率强相合.请注意,遍历设置提供了一个比通常的混合结构更一般的框架。能源数据的两个应用程序来说明所提出的方法在时间序列预测框架的一些例子。第一个包括预测法国电力需求的{ \it日峰值}(以千兆瓦为单位测量)。而第二个涉及在覆盖峰值需求的一些时间间隔内可能消耗的电{ \it能量}(以千兆瓦每小时测量)的短期预测。
2014-07-08 stat.ME
Necessary and Sufficient Conditions for High-Dimensional Posterior Consistency under $g$-Priors
我们检查充要条件后一致性下$g$先验,包括扩展到层次和经验贝叶斯模型。这篇文章的主要特点是,我们允许回归的数量以相同的速度增长的样本量和定义后验一致性下的超向量范数,而不是更传统的欧几里德范数。我们特别考虑了George和Foster(2000)的经验贝叶斯模型、Liang等人(2008)的hyper- $g$ -prior以及Zellner和Siow(1980)考虑的先验。
2015-09-03 math.ST stat.TH
Posterior Consistency in the Binomial $(n,p)$ Model with Unknown $n$ and $p$: A Numerical Study
当参数$n$和$p$都未知时,从$k$独立Bin $(n,p)$随机变量估计参数与各种应用相关。如果$n$大而$p$小,则特别困难。在过去的几十年里,一些文章提出了贝叶斯方法来估计$n$在这种情况下,但渐近结果只能建立在\cite{Schneider}最近。在那里,$n$的后收缩在有问题的参数方案中被证明,其中$n\rightarrow\infty$和$p\rightarrow0$以一定的速率。在这篇文章中,我们数值研究多远的理论上限$n$可以放宽模拟,而不失去后验一致性。
2018-09-07 math.ST stat.TH
Posterior Consistency for a Non-parametric Survival Model under a Gaussian Process Prior
在本文中,我们证明了几乎必然的一致性生存分析模型,它把一个高斯过程,映射到单位区间,作为所谓的风险函数的先验。我们假设我们的数据由属于$\mathbb{R}^{+}$的生存寿命$T$和$[0,1]^d$的协变量给出,其中$d$是任意维。我们定义了一个适当的度量生存功能,并证明后验一致性与此度量。我们的证明是基于Schwartz(1965)定理的一个推广,该定理给出了在非独立同分布随机变量的情形下几乎必然相合的一般条件。由于我们的数据的性质,高斯过程的$\mathbb{R}^+$上的几个结果被证明,这可能是独立的利益。
2016-11-07 math.ST stat.TH
Posterior consistency of nonparametric conditional moment restricted models
研究了含有无穷维参数$g_0$的非参数条件矩约束模型的估计问题。我们估计它在准贝叶斯的方式,基于有限的信息似然,并调查三种类型的先验后验一致性的影响:(i)截断先验(先验支持的有界集),(ii)薄尾先验(一个先验,有非常薄的尾巴以外的增长有界集)和(iii)正常的前与非收缩方差。此外,允许$g_0$在频率论意义上仅被部分地识别,并且参数空间不需要是紧凑的。使用一个缓慢增长的筛尺寸的后验正则化,它表明,后验收敛到任何小的邻域的识别区域。然后,我们将我们的结果应用到非参数工具回归模型。最后,研究了随机筛维参数下的后验一致性问题。
2012-03-12 math.ST stat.TH
Posterior consistency in misspecified models for i.n.i.d response
我们推导出后验一致性的条件时,响应是独立的,但不相同的分布($i.n.i.d$)和模型是“误指定”的一个家庭的密度参数化的一个可能的无限维参数。我们的方法与Kleijn和van der Vaart(2006)中为$i.i.d$模型开发的关键思想以及Ramamoorthi等人随后的简化有关。(2014)(未出版的手稿)。虽然这两篇论文的主要结果在很大程度上依赖于凸性的指定家庭的密度,参数家庭很少凸。在这篇文章中,我们采取了一种直接的方法来获得后验一致性关于自然拓扑的参数空间上,而不必施加条件的凸包的参数家庭。我们首先得到我们的结果的情况下,响应是$i.i.d$,然后将其扩展到$i.n.i.d$的情况。作为一个例子,我们证明了贝叶斯分位数估计问题的结果的适用性。
2014-08-26 math.ST stat.TH
Posterior consistency in linear models under shrinkage priors
研究了高维线性模型中回归系数后验分布随维数和观测值数目的增长而变化的渐近行为。我们证明了在简单的充分条件下,后验分布集中在真参数的邻域内。这些条件下流行的收缩先验给定一些稀疏性假设。
2013-05-19 math.ST stat.ME stat.TH
Posterior consistency of Gaussian process prior for nonparametric binary regression
考虑响应概率是一组协变量的未知光滑函数的二元观测。假设响应概率函数上的先验是由高斯过程通过链接函数映射到单位区间引起的。在本文中,我们研究的一致性所产生的后验分布。如果协方差内核的衍生工具,以所需的顺序和内核的带宽参数被允许采取任意小的值,我们表明,后验分布是一致的$L_1$距离。作为我们的证明的辅助结果,我们表明,在一定的条件下,高斯过程分配给一个连续函数的均匀邻域的正概率。这个结果可能是独立的兴趣在文献中的小球概率的高斯过程。
2007-02-23 math.ST stat.TH
Posterior Consistency in Parametric Models via a Tighter Notion of Identifiability
本文证明参数模型中仅需适度加强可识别性即可保证贝叶斯后验一致性,无需经典正则条件,并阐明贝叶斯与频率学派不一致性的不同机制。
2025-05-25 math.ST stat.TH
Bayesian posterior consistency in the functional randomly shifted curves model
在本文中,我们考虑所谓的形状不变模型,它代表的估计的一个函数$f^0$提交的随机平移规律$g^0$在白噪声模型。我们感兴趣的是这样一个模型时的变形规律是未知的。我们的目标是恢复过程$\PP_{f^0,g^0}$以及$f^0$和$g^0$的规律。从这个角度来看,我们采用贝叶斯的观点,并找到$f$和$g$的先验,使得当$n$走向$+\infty$时,后验分布以多项式速率集中在$\PP_{f^0,g^0}$周围。我们得到了形状$f^0$和分布$g^0$的对数后验收缩率。我们还推导出对数下界估计的$f^0$和$g^0$在频率论范式。
2013-03-12 math.ST stat.TH
Bayes factor consistency
良好的大样本性能通常是任何模型选择标准的最低要求。本文重点讨论了贝叶斯因子的一致性性质,贝叶斯因子是一种常用的模型比较工具,最近在文献中受到了极大的关注。我们全面审查现有成果。由于存在要考虑的各种各样的设置,例如参数与非参数、嵌套与非嵌套等,我们认为一个统一的架构具有教育意义。利用Chib(1995)的基本边际似然恒等式,通过将边际似然比的自然对数分解为三个分量,研究了贝叶斯因子渐近性。这些分别是似然、先验密度和后验密度的对数比。这产生了一个解释的对数比的后验作为一个惩罚项,并强调,要理解贝叶斯因子的一致性,驱动后验一致性在每个相应的模型进行比较的先验支持条件应对比后验收缩率,他们暗示。
2016-07-01 math.ST stat.TH
Posterior consistency in multi-response regression models with non-informative priors for the error covariance matrix in growing dimensions
本文在增长维度下研究多响应回归模型中误差协方差矩阵采用逆威沙特尺度混合先验时的后验相合性,建立了回归系数矩阵和协方差矩阵的收缩速率,并分析了q_n/n趋于非零常数时后验不相合的情形。
2024-09-18 math.ST stat.TH
Large Deviation Asymptotics and Bayesian Posterior Consistency on Stochastic Processes and Dynamical Systems
本文结合 Varadhan 引理、淬火/退火大偏差与指数逼近,建立长程相关随机过程及动力系统的广义贝叶斯后验收敛性框架,并给出混合过程与 Markov 过程的新结果。
2023-04-24 math.DS math.PR math.ST
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度(ALD)被用作贝叶斯分位数回归的工作似然。Sriram等人(2013)基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性,但Sriram和Ramamoorthi(2017)强调,该论点仅适用于小于$\sqrt{n}$的比率。因此,$\sqrt{n}-$率的问题仍然没有得到解决,但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中,我们得出的结果,以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置,分位数函数可能是非线性的。特别地,我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
Consistency of variational approximations under bounded Kullback--Leibler divergence
La Trobe University(拉筹伯大学);Kyushu University(九州大学);University of Queensland(昆士兰大学);Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、拉格朗日实验室)
研究变分近似在贝叶斯推断中继承后验一致性的条件,证明在一般度量空间上,若近似测度与目标测度序列的KL散度一致有界且目标后验弱收敛到真参数处的狄拉克测度,则变分序列也一致。
2026-06-12 math.ST stat.TH
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学,广泛应用于空间数据建模和计算机视觉问题。然而,该模型的统计推断仍然具有挑战性,由于棘手的性质的归一化常数的可能性。在这里,我们使用伪似然,而不是研究贝叶斯估计的两个参数,逆温度,磁化,伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下,我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失,由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
Posterior consistency of Pólya trees for deconvolution under the linear model
Department of Statistics, The Hebrew University of Jerusalem(耶路撒冷希伯来大学统计系)
研究线性模型反卷积问题,提出基于Pólya树先验的贝叶斯非参数方法,证明在X^TX最小特征值条件下后验分布依上确界范数集中于真实密度g0。
2026-06-11 math.ST stat.TH
Weak and Strong Consistency of non-parametric estimate of potential function for stationary and isotropic pairwise interaction point process
提出了平稳各向同性两两相互作用点过程非参数估计的势函数的一种估计方法。考虑了一个对势和对应的Papangelou条件强度之间的关系。在有限程相互作用势下,证明了非参数估计的相合性和强相合性。
2015-06-05 math.PR math.ST stat.TH
Consistency of the posterior distribution in generalised linear inverse problems
对于不适定的反问题,正则化的解决方案可以被解释为一个模式的后验分布在贝叶斯框架。这个框架丰富了解决方案的集合,因为其他后验估计可以用作逆问题的解决方案,例如在实践中更容易计算的后验均值。本文证明了在有限维情形下,对于一般似然和先验分布,Ky Fan度量下不适定线性反问题的贝叶斯解的相合性.这一结果可以应用于研究无穷维问题,让未知参数的尺寸增长到无穷大,可以被视为离散的网格或频谱近似的无穷维问题。假设似然函数和先验分布是指数形式的,其中包括指数族的分布,并且是可微的。观察可以是依赖的。不需要假设观测的有限矩,例如期望值或方差,从而允许可能的非正则似然,并允许非共轭和不适当的先验。如果方差存在,它可能是异方差的,也就是说,它可能依赖于未知函数。我们观察到相当令人惊讶的现象时,我们的结果的频谱近似框架,它是可能实现的参数收敛速率,即问题成为自正则化。我们还考虑了一个特殊的情况下,未知参数的边界上的参数集,并表明,在这种情况下的收敛速率是快于一个内点参数。
2013-04-19 math.ST stat.TH
Posterior Consistency under dependent errors in non-linear inverse problems with applications to time evolution equations
Department of Pure Mathematics and Mathematical Statistics, University of Cambridge(剑桥大学纯数学与统计数学系)
针对非线性逆问题中观测噪声相依的情形,给出后验一致性的充分条件,并应用于纳维-斯托克斯方程与空间非均匀反应-扩散方程,提出含时间累积的达西输运算子新稳定性估计。
2026-10-07 math.AP math.ST stat.TH
Nearly optimal Bayesian Shrinkage for High Dimensional Regression
在过去的十年中,收缩先验在高维数据的贝叶斯分析中受到了广泛的关注。本文建立了高维线性回归的后验相合性,它具有厚而平的尾,并且在零的一个很小的邻域内分配了足够大的概率质量。在后验模拟中,收缩先验在效率上与钉板先验相比,具有接近最优的后验收缩率和变量选择一致性。数值结果表明,在后验一致性条件下,贝叶斯方法在变量选择上比正则化方法如Lasso和SCAD能得到更好的结果。本文还建立了一个Bernstein von-Mises型结果,为回归系数估计的不确定性量化提供了一种简便的方法。
2022-10-08 math.ST stat.TH
High-dimensional posterior consistency for hierarchical non-local priors in regression
贝叶斯变量选择中调整参数的选择是现代统计学中的一个关键问题。特别地,对于非局部先验的贝叶斯线性回归,非局部先验密度中的尺度参数是一个重要的调整参数,它反映了非局部先验密度在零附近的离散度,并隐含地决定了将收缩到零的回归系数的大小.当前的方法将尺度参数视为给定的,并且基于先前的覆盖/渐近考虑来建议选择。在本文中,我们考虑了(Wu,2016)中引入的完全贝叶斯方法,其中具有pvp非局部先验和关于调整参数的适当的逆伽马先验,以分析潜在的理论性质。在标准的规律性假设下,我们建立了强的模型选择的一致性,在高维设置,其中$p$被允许以多项式的速度增加n$,甚至在一个次指数的速度与n。通过模拟研究,我们证明了我们的模型选择过程可以优于其他贝叶斯方法,处理的尺度参数给定的,常用的惩罚似然方法,在一系列的模拟设置。
2019-02-22 math.ST stat.TH
On A Necessary Condition For Posterior Inconsistency: New Insights From A Classic Counterexample
本文重审 Barron 经典反例,证明在一大类密度估计模型中 Hellinger 后验不一致需持续集中于指数高似然比密度,因而只可能源于不现实的病态先验。
2025-10-20 math.ST stat.TH
L-Divergence Consistency for a Discrete Prior
连续数据抽样分布的可数集M上的后验分布堆积在真实分布r在M上的L-投影处,只要L-投影是唯一的。如果r在M上有多个L-投影,则后验概率在它们之间平均分配。
2007-10-10 math.PR math.ST stat.TH
Asymptotic Consistency of $α-$Rényi-Approximate Posteriors
School of Industrial Engineering, Purdue University(普渡大学工业工程学院);Department of Statistics, Purdue University(普渡大学统计系)
我们研究了$α$ -Rényi近似后验的渐近一致性,这是一类变分贝叶斯方法,它用一个易于处理的分布族中的一个成员来近似一个难以处理的贝叶斯后验,选择该成员以最小化$α$ -Rényi与真实后验的偏差。独特的是,我们的工作是,我们认为设置与$α> 1$,从而在近似值上限的对数似然,因此有更广泛的传播比传统的变分方法,最大限度地减少Kullback-Liebler(KL)的分歧后。我们的主要结果确定了充分条件下,一致性举行,围绕着存在一个“好”的序列的分布在近似家庭,拥有,除其他外,权利收敛速率的极限分布。我们进一步刻画了好的序列,证明了一个序列的分布,收敛太快,不能是一个好的序列。我们还将我们的分析扩展到$α$等于1的设置,对应于反向KL发散的最小值,以及具有局部潜变量的模型。我们还用一些例子说明了好序列的存在性。我们的研究结果补充了越来越多的工作集中在变分贝叶斯方法的频率属性。
2020-08-14 cs.LG math.ST stat.ML
On Posterior consistency of Bayesian Changepoint models
虽然最近在高维线性模型的贝叶斯模型选择和变量选择方面取得了很多进展,但与频率论不同,文献中存在变点的工作并不多。我们考虑一个分层贝叶斯线性模型,其中通过均值模型影响观测值的协变量的活动集在不同的时间段之间可以变化。这种结构可能出现在社会科学/经济科学中,例如基于外部经济因素的房价突然变化,基于社会和建筑环境因素的犯罪率变化等。使用适当的自适应先验,我们概述了一个分层贝叶斯方法的发展,可以选择真正的变化点以及真正的协变量,具有很高的概率。我们提供了第一个详细的理论分析后验一致性或无协变量,在适当的条件下。吉布斯抽样技术提供了一种有效的计算策略。我们也考虑小样本模拟研究以及应用于犯罪预测的应用。
2021-02-25 math.ST stat.ME stat.TH
Posterior consistency of Dirichlet mixtures of beta densities in estimating positive false discovery rates
近年来,多重假设检验已成为统计研究的前沿,表面上与基因组学和其他一些新兴领域的应用有关。错误发现率(FDR)及其变体提供了非常重要的概念,在这种情况下,错误的经典测试问题中的错误概率的作用。准确估计阳性FDR(pFDR),FDR的一种变体,在评估和控制这一措施是必不可少的。在最近的一篇论文中,作者提出了一种基于模型的非参数贝叶斯方法来估计pFDR函数。特别地,p值的密度被建模为降低的β密度的混合物,并且适当的狄利克雷过程被认为是混合度量的先验。结果表明,所产生的程序在模拟中工作良好。在本文中,我们提供了一些理论结果来支持β混合模型的密度的p值,并表明,在适当的条件下,所得到的后验是一致的假设的数量增长到无穷大。
2008-05-15 math.ST stat.TH
Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models
高维多元数据的协方差估计与选择是现代统计学中的一个基本问题。高斯有向无环图(DAG)模型是用于此目的的一类流行的模型。高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性,稀疏性模式又对应于对基础变量的特定条件独立性假设。近年来,各种先验已经开发了贝叶斯推断在DAG模型,但这些模型的关键收敛性和稀疏性选择属性还没有得到彻底的研究。这些先验知识中的大多数是Wishart分布在DAG上下文中的适应或概括。在本文中,我们考虑了灵活的和一般的类,这些“DAG Wishart”先验与多个形状参数。在弱正则性假设下,当变量p随样本量样本量n以适当的次指数速率增长时,我们建立了强图选择一致性和后验收敛率.
2017-10-11 math.ST stat.ME stat.TH
Posterior asymptotics of nonparametric location-scale mixtures for multivariate density estimation
密度估计是贝叶斯非参数估计最成功的应用之一。特别是,Dirichlet过程混合的法线是密度估计的黄金标准,其渐近性质已被广泛研究,特别是在单变量的情况下。然而,实践者和目前的理论文献之间存在差距。到目前为止,后验渐近结果在多变量的情况下,仅适用于位置混合的高斯内核与独立的前共同的协方差阵,而在实践中,以及从概念的角度来看,位置-尺度混合往往是可取的。在本文中,我们解决后验一致性,这样的一般混合模型,通过适应收敛速度的结果,结合了通常的低熵,高质量的筛选方法与适当的可求和条件。具体来说,我们建立一致性的Dirichlet过程混合高斯内核与各种事先规格的协方差阵。后收敛速度也进行了讨论。
2015-07-01 math.ST stat.TH
Asymptotics for posterior hazards
生存分析中的一个重要问题是风险率的研究和建模。在贝叶斯非参数框架内,一种自然和流行的方法是将风险率建模为关于完全随机测量的核混合物。在本文中,我们提供了一个全面的分析,这样的模型的渐近行为。我们调查的后验分布的一致性和固定样本量中心极限定理的线性和二次泛函的后验风险率。一般的结果,然后专门为各种特定的内核和混合措施产生的一致性,在最小的条件和整洁的中心极限定理分布的泛函。
2009-08-13 math.ST stat.TH
Frequentist Consistency of Generalized Variational Inference
研究了基于广义变分推理(GVI)构造的后验分布的频率一致性.基于$Γ$ -收敛性理论,给出了一些通用的和新颖的一致性证明策略。具体来说,本文表明,在最小的正则性条件下,序列的GVI后验是一致的,并崩溃到一个点质量的人口最优参数值的观测数趋于无穷大。结果扩展到潜变量的情况下,没有额外的假设,并在误设定。最后,本文解释了如何将结果应用于GVI后验的选择,特别是流行的变分家庭。例如,使用平均场正态变分族、正态混合、高斯过程变分族以及索引正态(混合)分布的神经网络来建立GVI方法的一致性。
2019-12-10 math.ST stat.ML stat.TH
A Comprehensive Bayesian Treatment of the Universal Kriging model with Matérn correlation kernels
Gibbs参考后验分布为具有Matérn各向异性核的平稳高斯过程的预测问题提供了一个客观的全贝叶斯解决方案。一个完整的贝叶斯方法是可能的,因为后验分布表示为一致遍历马尔可夫核的不变分布,我们给出了一个明确的表达式。在本文中,我们表明,它是适当的泛克里格框架,即当一个未知的函数被添加到平稳高斯过程。我们给出了适用于各种实际情况的吉布斯参考后验的存在性和适当性的充分条件,并用几个例子说明了该方法。最后,高斯过程的模拟表明,吉布斯参考后验具有良好的频率属性的预测区间的覆盖。
2018-01-15 math.ST stat.TH
On the consistency of the posterior distribution for nonlinear PDE parameter identification
The Chinese University of Hong Kong(香港中文大学)
本文研究了非线性PDE参数识别中后验分布的收缩率,提出了一种放松高斯过程先验条件的方法,并通过三个反问题验证了理论。
2026-09-22 cs.NA math.NA math.ST
Posterior Consistency for Recovering Initial States in Nonlinear Subdiffusion Equations
Xi’an Jiaotong University(西安交通大学)
该研究针对半线性时间分数次扩散方程的初始状态,赋予Whittle--Matérn过程重标高斯先验,证明解的正则性与后验收缩率,并构造小波包集合证明极小极大下界。
2026-10-12 math.AP math.ST stat.TH
Bayesian inference for high-dimensional decomposable graphs
在本文中,我们考虑高维高斯图形模型,真正的底层图是可分解的。提出了一种分层的$G$ -Wishart先验,对精度矩阵及其图结构进行贝叶斯推理。近年来,虽然基于$G$ -Wishart先验的后验渐近性得到了越来越多的关注,但大多数结果都假设了适度的高维环境,其中变量数$p$小于样本量$n$。然而,这种假设在许多实际应用中可能不成立,如基因组学,语音识别和气候学。出于这个差距,我们调查下的高维设置,其中$p$可以远远大于$n$的后验的渐近性质。在此高维环境下,得到了两两贝叶斯因子一致性、后验比一致性和图选择一致性。进一步,在矩阵$\ell_1$ -范数下,得到了精确矩阵的后验收敛速度,证明了该收敛速度与稀疏精确矩阵的minimax收敛速度一致.仿真研究证实,所提出的贝叶斯过程优于竞争对手。
2021-02-17 math.ST stat.TH
Variational Bayes Neural Network: Posterior Consistency, Classification Accuracy and Computational Challenges
Michigan State University(密歇根州立大学)
贝叶斯神经网络模型(BNN)近年来由于可扩展计算的进步及其在解决各种应用中的复杂预测问题中的实用性而重新兴起。尽管BNN的流行和有用性,传统的马尔可夫链蒙特卡罗为基础的实现遭受高计算成本,限制了使用这种强大的技术在大规模的研究。变分贝叶斯推理已经成为一个可行的替代方案,以规避一些计算问题。虽然这种方法在机器学习中很流行,但它在统计学中的应用有些有限。本文发展了一种变分贝叶斯神经网络估计方法和相关的统计理论。详细讨论了数值算法及其实现。后验一致性理论,在非参数贝叶斯统计的一个理想的属性,也被开发。这一理论提供了一个评估的预测精度和准则的特点先验分布和变分家庭。使用变分后的损失超过真正的后验也被量化。该开发的动机是一个重要的生物医学工程应用,即建立从轻度认知障碍到阿尔茨海默病的预测工具。预测因子是多模态的,可能涉及复杂的交互关系。
2020-11-19 cs.LG math.ST stat.ML
Consistency of Bayesian Linear Model Selection With a Growing Number of Parameters
参数越来越多的线性模型在现代统计学中得到了广泛的应用。这类模型的一个重要问题是变量的选择问题。贝叶斯方法,它提供了一个随机搜索的信息变量,已经得到普及。本文研究了当模型维数$p$随样本量$n$增长时贝叶斯模型选择的渐近性质。我们考虑$p\le n$,并提供了充分条件,在此条件下:(1)大概率下,真实模型(从中抽取样本)的后验概率均匀地支配任何不正确模型的后验概率;(2)大概率下,真实模型的后验概率收敛于1。(1)和(2)都保证在贝叶斯框架下选择真实模型。我们还演示了(1)成立但(2)失败的几种情况,这说明了这两个属性之间的差异。最后给出了模拟算例来说明主要结果。
2012-02-02 math.ST stat.TH
Statistical inference for continuous-time locally stationary processes using stationary approximations
我们建立了$M$ -估计量的渐近性质,定义在一个对比函数和观察从连续时间局部平稳过程。利用序列的平稳逼近、$θ$ -弱依赖和遗传性质,给出了对比函数的充分条件,保证了$M$ -估计的相合性和渐近正态性.作为例子,我们得到了时变Lévy驱动的Ornstein-Uhlenbeck过程序列观测值的局部最小二乘估计的相合性和渐近正态性.此外,对于一个序列的时变Lévy驱动的状态空间模型,我们证明了一个本地化的Whittle估计和$M$估计,是基于准最大似然对比的一致性。仿真研究表明,估计程序的适用性。
2021-05-10 math.PR math.ST stat.TH
On posterior consistency of data assimilation with Gaussian process priors: the 2D Navier-Stokes equations
该研究针对带高斯过程先验初始条件的二维Navier-Stokes方程贝叶斯数据同化模型,证明了充分测量下后验分布的一致性与收敛速率,还给出了解的反向唯一性定量估计。
2024-07-09 cs.NA math.AP math.NA
Posterior contraction rates for non-parametric state and drift estimation
考虑线性随机热方程的状态和漂移联合估计问题。利用扩展状态空间上的卡尔曼-布西滤波器建立了无限维贝叶斯推理问题,并研究了其长时间渐近性质。本文的主要贡献是在未知漂移函数的渐近后验收缩率。这样的速率已经研究了固定的非参数贝叶斯逆问题,在这里,我们证明了我们的时间依赖性配方与这些以前的结果建立在尺度分离和慢流形近似的一致性。
2020-08-17 math.ST stat.TH
On Bayesian Estimation of Densities and Sampling Distributions: the Posterior Predictive Distribution as the Bayes Estimator
本文给出了两个突出的贝叶斯估计问题的最优性结果:平方全变差函数的抽样分布估计和$L^1$ -平方损失函数的密度估计.后验预测分布为这些问题提供了解决方案。文中给出了一些例子,并讨论了分布函数的贝叶斯估计问题。证明了密度估计的相合性。
2021-08-21 math.ST stat.TH
Non-parametric Bayesian drift estimation for stochastic differential equations
本文考虑一维随机微分方程漂移系数的非参数贝叶斯估计问题。在适当的正则性条件下,弱于文献中先前提出的,我们建立后验一致性在这种情况下。此外,我们表明,后验一致性扩展到多维设置,以及,据我们所知,这是一个新的结果,在这种设置。
2013-02-25 math.ST stat.TH
Consistency of a needlet spectral estimator on the sphere
从一个单一的实现,观察越来越精细的分辨率的针状系数估计的角度功率谱的一个固定的随机场上的球。我们所考虑的估计量与最近在实践中用于估计宇宙微波背景的功率谱的估计量(Faithmet al. 2008)相似。对于一个平稳高斯场被异方差噪声和缺失数据破坏的模型,证明了该估计在高频渐近下的相合性。
2008-07-14 math.ST stat.TH
A Note on Consistency of the Bayes Estimator of the Density
在较弱的条件下,证明了密度Bayes估计的强相合性。此外,当样本大小达到$\infty$时,密度(即后验预测密度)的贝叶斯估计的贝叶斯风险(对于一些常见的损失函数)达到零。顺便说一下,对于抽样分布的估计也得到了类似的结果。
2021-11-24 math.ST stat.TH
Bayesian Posterior Contraction Rates for Linear Severely Ill-posed Inverse Problems
考虑一类由奇异值指数衰减到零的紧算子的逆引起的线性不适定反问题。我们采用贝叶斯方法,假设高斯先验的未知函数。如果假设观测噪声是高斯分布,则该先验与似然共轭,使得后验分布也是高斯分布。研究了小观测噪声下的贝叶斯后验一致性。我们假设前向算子与先验和噪声协方差算子相互交换。我们展示了如何,对于给定的平滑假设的真相,尺度参数的先验可以调整,以优化后验收缩率的真相,我们明确计算的对数率。
2013-12-06 math.ST stat.TH
A detailed treatment of Doob's theorem
Doob定理在非常一般的条件下提供了一致估计和后验一致性的保证。尽管Doob定理的局限性在于它只能保证在先验概率为1的集合上的一致性,但对于实践中出现的许多模型来说,Doob定理是一种简单的方法,可以证明一致性几乎在几乎处处都成立。本文给出了Doob定理的详细证明。
2018-01-09 math.ST stat.TH
Consistency of variational inference for Besov priors in non-linear inverse problems
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
本文研究了PDE参数在Besov空间中的变分后验收敛速率,通过随机小波展开构建Besov先验,证明变分后验在广泛采用的变分族下达到与精确后验一致的收敛速率,并在Besov类上实现最小最大最优速率。
2026-04-16 math.ST stat.TH
Convergence rates of posterior distributions for noniid observations
研究了基于既不独立又不同分布观测值的后验分布和Bayes估计的渐近性态。我们给出了一般结果的收敛速率的后验测量相对于来自测试标准的距离。然后,我们专门研究我们的结果,独立的,非同分布的观测,马尔可夫过程,平稳高斯时间序列和白噪声模型。我们将我们的一般结果应用到无限维统计模型的几个例子中,包括带正态误差的非参数回归、二元回归、泊松回归、区间删失模型、时间序列谱密度的Whittle估计和非线性自回归模型。
2007-08-03 math.ST stat.TH
Fixed-domain Posterior Contraction Rates for Spatial Gaussian Process Model with Nugget
空间高斯过程回归模型通常包含需要从数据估计的有限维协方差参数。研究了一类固定域渐近下平稳协方差函数中包含块金参数的协方差参数的贝叶斯估计,由于空间观测值之间的依赖性越来越强,这在理论上具有挑战性.我们提出了一种新的适应施瓦茨的一致性定理显示后收缩率的协方差参数,包括块金。我们得到了一个新的多项式证据下界,并提出了一致的高阶二次变差估计,满足浓度不等式指数小尾巴。我们的贝叶斯固定域渐近理论导致显式后验收缩率的微遍历和块金参数的各向同性Matern协方差函数下的一般分层抽样设计。我们验证了我们的理论和贝叶斯预测性能的模拟研究和应用到海表温度数据。
2023-02-21 math.ST stat.TH