A Diffusion Process Perspective on Posterior Contraction Rates for Parameters
本文通过Langevin扩散过程,特别是通过控制随机过程的矩和取极限,分析了贝叶斯模型中参数的后验收缩率。类似于统计M-估计和随机最优化算法的非渐近分析,我们的收缩率依赖于人口对数似然函数的结构,以及人口和样本对数似然函数之间的随机扰动界。收敛速度由一个非线性方程确定,该方程将种群水平结构与随机扰动项以及表征扩散行为的项联系起来。基于这种技术,我们还证明了非渐近版本的Bernstein-von-Mises保证后。我们说明了这一一般性的理论推导后收敛速度为各种具体的例子,以及近似后验分布使用Langevin抽样程序计算。
2022-08-17 math.ST stat.TH
On posterior contraction of parameters and interpretability in Bayesian mixture modeling
我们研究的背景下,贝叶斯混合建模,混合组件的数量是未知的,而模型本身可能会或可能不会被正确指定的参数的后验收缩行为。将考虑两种有代表性的先验规范:一种明确要求混合组分的数量上的先验分布,而另一种将混合分布的空间上的非参数先验。前者示出在最小条件下对模型参数产生最优的后验收缩率,而后者可以用来一致地恢复混合物成分的未知数,借助快速的概率后处理过程。然后,我们把这些贝叶斯程序的研究模型误设定的现实设置。它将被证明,核密度函数的建模选择可能起着最有影响力的作用,在错误指定的情况下,在确定后验收缩率。利用本文中建立的具体后验收缩率,我们希望强调一些方面的有趣的权衡模型的表达性和可解释性之间的统计建模必须谈判在丰富的世界的混合建模。
2019-01-15 math.ST stat.TH
Posterior contraction rates for non-parametric state and drift estimation
考虑线性随机热方程的状态和漂移联合估计问题。利用扩展状态空间上的卡尔曼-布西滤波器建立了无限维贝叶斯推理问题,并研究了其长时间渐近性质。本文的主要贡献是在未知漂移函数的渐近后验收缩率。这样的速率已经研究了固定的非参数贝叶斯逆问题,在这里,我们证明了我们的时间依赖性配方与这些以前的结果建立在尺度分离和慢流形近似的一致性。
2020-08-17 math.ST stat.TH
Rates of contraction of posterior distributions based on $p$-exponential priors
本文考虑一类无穷维积测度族,称之为$p$ -指数测度.我们研究了它们的测度论性质,特别是它们的浓度。我们的研究结果被用来发展一个一般的收缩理论的后验分布的非参数模型与$p$ -指数先验在可分的Banach参数空间。我们的方法建立在van der Vaart和van Zanten 2008中高斯过程先验的一般收缩理论基础上,即我们使用先验浓度来验证先验质量和熵条件足以进行后验收缩。然而,特定的浓度特性的$p$ -指数先验导致一个更复杂的熵界,可以产生负面影响所获得的收缩率,这取决于拓扑结构的参数空间。受更复杂的熵界,我们表明,收缩率取决于位置的真参数相对于一定的巴拿赫空间与$p$ -指数措施和小球概率这些措施。例如,我们应用我们的理论在白噪声模型下的Besov规律性的真相,并获得极小极大收缩率使用(重新缩放)$α$ -定期$p$ -指数先验。特别是,我们的研究结果表明,当感兴趣的空间不均匀的未知函数,在后收缩方面,最好使用拉普拉斯,而不是高斯先验。
2020-10-08 math.ST stat.TH
Posterior Contraction Rates for the Bayesian Approach to Linear Ill-Posed Inverse Problems
本文考虑了一类带高斯噪声的可分希尔伯特空间中的线性反问题的贝叶斯非参数方法。我们假设高斯先验,这是共轭的模型,并提出了一种方法来识别后验使用其精度算子。与无界精度算子的工作使我们能够使用偏微分方程(PDE)的方法来获得收缩率的后验分布的狄拉克措施为中心的真正的解决方案。我们的方法假设先验协方差,噪声协方差和前向算子之间的关系相对较弱,允许广泛的应用。
2013-08-02 math.ST stat.TH
A general approach to posterior contraction in nonparametric inverse problems
本文提出了一种推导非参数反问题后验分布收缩率上界的一般方法。我们提出了一个一般定理,使我们能够从估计变换的感兴趣的参数的相关直接问题的收缩率导出感兴趣的参数的收缩率。这种方法的一个有趣的方面是,它允许我们推导出与算子的奇异值分解无关的先验的收缩率。我们应用我们的结果的线性反问题的几个例子,无论是在白噪声序列模型和非参数回归模型,使用先验的基础上的奇异值分解的运营商,位置混合先验和样条先验,并恢复极小极大自适应收缩率。
2017-01-23 math.ST stat.TH
On strong posterior contraction rates for Besov-Laplace priors in the white noise model
本文研究白噪声模型中Besov-Laplace先验的强后验收缩率,证明光滑度匹配先验在Besov空间上达到极小极大最优收缩率,并具备导数估计的插件性质,方法基于Wasserstein距离的新途径。
2024-11-11 math.ST stat.TH
Bayesian Posterior Contraction Rates for Linear Severely Ill-posed Inverse Problems
考虑一类由奇异值指数衰减到零的紧算子的逆引起的线性不适定反问题。我们采用贝叶斯方法,假设高斯先验的未知函数。如果假设观测噪声是高斯分布,则该先验与似然共轭,使得后验分布也是高斯分布。研究了小观测噪声下的贝叶斯后验一致性。我们假设前向算子与先验和噪声协方差算子相互交换。我们展示了如何,对于给定的平滑假设的真相,尺度参数的先验可以调整,以优化后验收缩率的真相,我们明确计算的对数率。
2013-12-06 math.ST stat.TH
Rates of contraction of posterior distributions based on Gaussian process priors
我们推导了基于高斯过程的非参数或半参数模型的后验分布的收缩率。收缩率取决于真实参数相对于高斯过程的再生核希尔伯特空间和高斯过程的小球概率的位置。我们针对高斯先验的一系列示例和几种统计设置确定了这些量。例如,当先验将对数密度建模为(分数积分)布朗运动时,我们考虑基于从光滑密度模型采样的后验分布的收缩率。我们还考虑了高斯误差的回归和与各种先验相结合的logistic或probit链接函数下的平滑分类。
2008-06-18 math.ST stat.TH
Ultra High-dimensional Multivariate Posterior Contraction Rate Under Shrinkage Priors
近年来,从贝叶斯的角度来看,收缩先验在高维数据分析中受到了广泛的关注。与广泛使用的spike-and-slab先验相比,收缩先验具有更好的计算效率。但是,在许多情况下,不确定度量化中的重要理论性质,特别是后验收缩率并不成立。本文将全局-局部收缩先验应用于协方差阵未知的高维多元线性回归。我们证明了当先验高度集中在零附近且具有厚尾时,系数矩阵和协方差阵的后验收缩率接近最优。当特征数p比样本量n增长得更快时,我们的结果成立,这在现代数据分析中具有很大的意义。我们证明了一类容易实现的规模混合正常先验满足的主要定理的条件。
2020-01-14 math.ST stat.TH
Fixed-domain Posterior Contraction Rates for Spatial Gaussian Process Model with Nugget
空间高斯过程回归模型通常包含需要从数据估计的有限维协方差参数。研究了一类固定域渐近下平稳协方差函数中包含块金参数的协方差参数的贝叶斯估计,由于空间观测值之间的依赖性越来越强,这在理论上具有挑战性.我们提出了一种新的适应施瓦茨的一致性定理显示后收缩率的协方差参数,包括块金。我们得到了一个新的多项式证据下界,并提出了一致的高阶二次变差估计,满足浓度不等式指数小尾巴。我们的贝叶斯固定域渐近理论导致显式后验收缩率的微遍历和块金参数的各向同性Matern协方差函数下的一般分层抽样设计。我们验证了我们的理论和贝叶斯预测性能的模拟研究和应用到海表温度数据。
2023-02-21 math.ST stat.TH
Rates of contraction for posterior distributions in $\bolds{L^r}$-metrics, $\bolds{1\le r\le\infty}$
非参数贝叶斯估计的频率主义行为,更具体地说,收缩率的后验分布收缩$L^r$ -范数邻域,$1\le r\le\infty$,未知参数,进行了研究。在一般近似理论假设下,证明了非参数密度估计的一个定理。结果被应用到各种常见的例子,包括高斯过程,小波级数,正常的混合和直方图先验。对于$1\le r\le2$,收缩率是最小最大最优的,但随着$r$增加到超过2,收缩率恶化。在高斯非参数回归的情况下,高斯先验被设计成使得后验在所有$L^r$ -范数$1\le r\le\infty$中以最优速率收缩。
2012-03-09 math.ST stat.TH
Nonparametric Bayesian posterior contraction rates for scalar diffusions with high-frequency data
我们考虑了具有离散数据$(X_{jΔ_n})_{0\leq j \leq n}$、$n\to \infty,~Δ_n\to 0$和周期系数的标量扩散模型$dX_t=b(X_t)dt+σ(X_t)dW_t$中的推断。对于$σ$给定的,我们证明了一个一般定理详细的条件下,贝叶斯后验将合同在$L^2$ -距离周围的真实漂移函数$b_0$在频率最小最大率(对数因子)Besov光滑类。我们表现出自然的非参数先验满足我们的条件。我们的研究结果表明,贝叶斯方法适应未知的采样制度和未知的平滑度。
2018-08-23 math.ST stat.TH
Asymptotic behaviour of the empirical Bayes posteriors associated to maximum marginal likelihood estimator
我们考虑一般情况下边际最大似然经验贝叶斯后验分布的渐近行为。首先,我们描述了最大边际似然估计位于高概率的集合。然后给出了经验贝叶斯后验压缩率的预言型上界和下界。我们还表明,分层贝叶斯后验达到相同的收缩率的最大边际似然经验贝叶斯后验。我们证明了我们的一般结果的适用性,为各种模型和先验分布推导相应的经验和分层贝叶斯后验分布的收缩率的上限和下界。
2016-04-04 math.ST stat.TH
Posterior Contraction Rates for Gaussian Cox Processes with Non-identically Distributed Data
本文研究了非齐次泊松过程的非参数贝叶斯推断的后验收缩。我们考虑的质量推断率函数$λ$,给定非同分布的实现,其速率是$λ$的变换。在实践中经常出现这种数据,例如,这是因为在资源有限的情况下进行观测的挑战,或者天气对事件的可探测性的影响。我们推导出收缩率的后验估计所产生的Sigmoidal高斯Cox过程和二次高斯Cox过程模型。这些是流行的模型,其中$λ$分别被建模为高斯过程的逻辑变换和二次变换。我们的工作在几个方面超越了现有的分析。首先,我们考虑非同分布的数据,以前未研究的泊松过程设置。其次,我们考虑了二次高斯Cox过程模型,以前很少有理论上的理解。第三,我们提供了真实$λ$周围球宽度的收缩率,其中后部肿块集中,以及这些球外部后部肿块的收缩率-通常只明确给出前者。最后,我们的结果保持一定的有限数量的观察,而不仅仅是渐近的,我们与特定的选择超参数/这些结果之前。
2019-06-25 math.ST stat.TH
Adaptive posterior contraction rates for the horseshoe
本文研究了稀疏多元正态均值模型中基于马蹄先验的贝叶斯估计过程的频率论性质。以前的理论结果假设稀疏水平,即信号的数量,是已知的。我们放弃这一假设,并描述了马蹄铁先验的一个关键参数的最大边际似然估计(MMLE)的行为。我们证明了MMLE是一个有效的估计的稀疏水平,在这个意义上说,它导致(近)极小极大最优估计的基本均值向量生成的数据。除了这个经验贝叶斯过程中,我们考虑分层贝叶斯方法,把先验的未知稀疏水平以及。我们表明,这两种贝叶斯技术导致率自适应最优后验收缩,这意味着马蹄后验是一个很好的候选人生成率自适应可信集。
2017-02-13 math.ST stat.TH
Adaptive Supremum Norm Posterior Contraction: Wavelet Spike-and-Slab and Anisotropic Besov Spaces
在统计学中,上确界范数损失对函数估计误差的量化更有直观意义。在误差未知的多元非参数回归的背景下,我们提出了一个贝叶斯过程的基础上的尖峰和板条先验和小波投影估计的回归函数和所有的混合偏导数。我们证明了它们的后验分布在上模损失下最优地自适应地收缩到真值。在贝叶斯非参数化理论中,通过指数误差检验的主定理不足以处理这个问题,我们提出了一种新的思想,将回归模型下的后验系统地简化为由准白噪声模型产生的后验,后者大大简化了我们的速率计算。因此,本文采取的第一步,明确显示如何可以将结果从白噪声回归模型在贝叶斯设置。
2018-06-27 math.ST stat.TH
Posterior contraction under misspecification and heteroscedasticity in non-linear inverse problems
University of Cambridge(剑桥大学);Heidelberg University(海德堡大学)
本文研究了非线性反问题中异方差非参数回归问题,通过构建代理误差方差的对数似然模型,证明了后验分布的收缩性,适用于偏微分方程约束的反问题,并考虑了规格不正确和线性化模型的影响。
2026-03-30 math.ST stat.TH
Posterior contraction of the population polytope in finite admixture models
University of Michigan(密歇根大学)
我们研究了混合模型中随着数据量的增加而出现的潜在种群结构的后验收缩行为。我们采用混合模型的几何视图-或者称为主题模型-作为从(凸)人口多面体内部随机采样的点的数据生成机制,其极值点对应于感兴趣的人口结构变量。后验收缩率建立关于Hausdorff度量和最小匹配欧氏度量定义在多面体上。开发的工具包括分层模型的后验渐近性和凸几何的参数。
2015-04-15 cs.LG math.ST stat.TH
On the contraction properties of some high-dimensional quasi-posterior distributions
本文研究了当样本量$n$和参数维数$d$增加时,由拟似然函数和稀疏诱导先验分布在$\rset^d$上组合得到的拟后验分布$\checkΠ_{n,d}$的收缩性质.我们得出一些一般性的结果,突出了一组充分条件下,$\checkΠ_{n,d}$把越来越高的概率稀疏子集的$\rset^d$,并合同对真实值的参数。我们将这些结果应用于高维环境中的逻辑回归模型和二元图形模型的分析。对于逻辑回归模型,我们表明,对于表现良好的设计矩阵,后验分布的合同率$O(\sqrt{s_\star\log(d)/n})$,其中$s_\star$是非零组件的参数。对于二进制图形模型,在一定的规律性条件下,我们表明,准后验模拟的邻域选择\cite{meinshausen06}合同在Frobenius范数的速度$O(\sqrt{(p+S)\log(p)/n})$,其中$p$是节点的数量,和$S$的边缘的数量的真实的图形。
2016-11-19 math.ST stat.TH
Bayesian methods in the Shape Invariant Model (II): Identifiability and posterior contraction rates on functional spaces
在本文中,我们考虑所谓的形状不变模型,它代表的估计的函数f 0提交的一个随机平移的法律g 0的白噪声模型。我们感兴趣的是这样一个模型时的变形规律是未知的。我们的目标是恢复过程P(f0,g 0)以及f0和g 0的规律。我们首先提供了一些可识别性的结果,然后采用贝叶斯的观点。在这种观点下,我们找到f和g的某种先验,使得当n趋于无穷大时,后验分布集中在函数f0和g 0周围,从而得到log(n)^(-1)的a次幂的收缩率。我们还得到了一个下界的模型估计的f0和g 0的频率论范式,也减少以下的权力log(n)^(-1)。
2013-03-12 math.ST stat.TH
Bayesian methods in the Shape Invariant Model (I): Posterior contraction rates on probability measures
在本文中,我们考虑所谓的形状不变模型,它代表的估计的函数f 0提交的一个随机平移的法律g 0的白噪声模型。我们感兴趣的是这样一个模型时的变形规律是未知的。我们的目标是恢复过程P(f0,g0)的定律。从这个角度来看,我们采用贝叶斯的观点,并找到f和g的先验,使得当n趋于无穷大时,后验分布以多项式速率集中在P(f0,g0)附近。我们密集地使用一些贝叶斯非参数工具,再加上混合模型,并相信我们的一些结果在这个混合框架上获得的频率论的观点也可能是感兴趣的。
2013-03-12 math.ST stat.TH
Posterior contraction for empirical Bayesian approach to inverse problems under non-diagonal assumption
研究了一类具有高斯先验和高斯噪声的线性反问题的经验贝叶斯非参数方法。考虑一类高斯先验概率测度的协方差算子由一个量化正则性的超参数索引。通过引入两个辅助问题,构造了一种经验贝叶斯方法,并证明了该方法可以自动选择超参数。此外,我们还表明,在不了解规律性指数的情况下,这种自适应贝叶斯过程可以提供最佳收缩率,直至缓慢变化的项和任意小的常数。该方法不需要先验协方差,噪声协方差和前向算子在奇异值分解中有共同的基,与已有结果相比,扩大了应用范围。
2020-08-25 math.ST stat.TH
Oracle posterior contraction rates under hierarchical priors
我们提供了一个一般的贝叶斯理论框架,以获得后验收缩率下的分层先验设计:第一步先验用于评估模型选择的不确定性,第二步先验量化的先验信念的强度的信号内选择的模型从第一步。特别是,我们建立了非渐近预言后验收缩率下(i)的对数似然比的统计实验的局部高斯条件,(ii)的局部熵条件的维数的模型,和(iii)的第二步附近的最佳逼近信号的充分质量条件。第一步先验可以一般地设计。后验分布具有高斯尾行为,因此所得后验均值也满足预言不等式,自动充当频率论意义上的自适应点估计器。在这些预言率中允许模型错误指定。局部高斯性条件作为实验的非渐近高斯量化的统一尝试,并且可以在[GvdV 07 a]及以后考虑的各种实验中容易地验证。一般的结果被应用在各种问题,包括:(i)跟踪回归,(ii)形状限制保序/凸回归,(iii)高维部分线性回归,(iv)协方差阵估计的稀疏因子模型,(v)非光滑多面体图像边界的检测,和(vi)强度估计的泊松点过程模型。这些新的结果既可以作为理论上的理由,在文献中的实际先前的建议,或作为一个复杂的实验的(近)极大极小自适应估计的一般建设计划的说明。
2021-02-10 math.ST stat.TH
Posterior Contraction and Testing for Multivariate Isotonic Regression
本文考虑了具有多个预测变量和一个可加误差的非参数回归问题,其中假设回归函数是坐标非减的。提出了一种贝叶斯方法对多元单调回归函数进行推断,得到了后验收缩率,并构造了一个多元单调性的普遍一致贝叶斯检验方法.为了便于后验分析,我们暂时搁置形状的限制,并赋予一个前块常数回归函数的高度独立正态分布。误差项的未知方差由边缘最大似然估计估计或配备有逆伽马先验。然后,不受限制的块高度是后验也独立正态分布的误差方差,共轭。为了符合形状的限制,我们将样本从不受限制的后验投影到多元单调函数类上,从而产生“投影-后验分布“,用于进行推断。在一个$\mathbb{L}_1$ -度量下,我们证明了基于$n$独立样本的投影后验以最优速率$n^{-1/(2+d)}$收缩在真实单调回归函数附近.然后,我们构造了一个贝叶斯检验的多元单调性的基础上的后验概率的收缩邻域的类多元单调函数。我们表明,测试是普遍一致的,也就是说,贝叶斯检验的水平为零,在任何固定的替代品的权力去一。此外,我们表明,对于一个光滑的替代功能,电源去1,只要它的距离类的多元单调函数至少是一个光滑函数的估计误差的顺序。
2022-11-22 math.ST stat.TH
Posterior contraction rates in a sparse non-linear mixed-effects model
本文研究高维稀疏非线性混合效应模型的贝叶斯后验收缩性质,采用spike-and-Laplace先验和Inverse-Wishart先验,推导出协方差参数、预测项及稀疏回归向量的后验收缩速率。
2025-09-22 math.ST stat.TH
Supremum Norm Posterior Contraction and Credible Sets for Nonparametric Multivariate Regression
在误差方差未知的非参数多元回归中,研究了估计回归函数f及其混合偏导数的贝叶斯方法的渐近性质.我们使用一个随机系列的张量积的B-样条与正规基系数作为先验的f,和误差方差估计使用经验贝叶斯方法或被赋予一个合适的先验的分层贝叶斯方法。我们建立了f及其混合偏导数的点态、L2和上确界范数后验压缩率,并证明了它们与极大极小压缩率相一致。我们的结果甚至覆盖了各向异性的情况,其中真正的回归函数在不同方向上可能具有不同的光滑度。利用收敛界,我们证明了f及其混合偏导数的点态、L2和上确界范数可信集具有最优的频率覆盖。同时,在B样条的张量积方面也得到了一些新的结果。
2015-09-24 math.ST stat.TH
SPDE Methods for Nonparametric Bayesian Posterior Contraction and Laplace Approximation
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心)
本文通过扩展Mou等人的扩散框架,推导了非参数贝叶斯模型的后验收缩率和有限样本伯恩斯坦-冯-米塞斯结果,并在希尔伯特空间上建立了拉普拉斯近似理论。
2026-03-23 cs.LG math.ST stat.ML
Posterior contraction rates in Sobolev norms and Bayesian derivative estimation for infinite-dimensional exponential families
University of Pavia(帕维亚大学);University of Turin(都灵大学);Collegio Carlo Alberto, Turin(都灵卡洛阿尔贝托学院)
该研究针对无穷维指数族,基于Wasserstein距离的新方法,证明匹配光滑度的先验可实现Sobolev范数下的极小极大最优后验收缩率,并在三类场景中验证了该理论的有效性。
2026-10-06 math.ST stat.ML stat.TH
Goodness-of-fit testing for nonlinear inverse problems with random observations
University of Potsdam(波茨坦大学)
本文提出了一种非线性逆问题中随机观测的拟合性检验方法,通过后验收缩速率分析,建立了区分备择假设与原假设的能力,并应用于药代动力学中的常微分方程问题。
2026-02-09 math.ST stat.TH
Adaptive posterior contraction rates for empirical Bayesian drift estimation of a diffusion
由于高斯过程先验的共轭后验,它在估计具有连续时间观测值的随机微分方程的漂移方面具有很大的吸引力。然而,它们的性能在很大程度上取决于超参数的选择。我们采用边际最大似然估计的缩放和/或平滑参数(S)的先验,并显示相应的后验具有最佳的收敛速度。一般定理并不直接适用于这个模型,因为通常的检验函数是关于随机的Hellinger型度量的。我们允许连续和离散,一维和二维的超参数集,其中优化的二维集的平滑度和缩放超参数被证明是有益的自适应范围。
2020-02-03 math.ST stat.ME stat.TH
Bayesian Shrinkage towards Sharp Minimaxity
收缩先验由于其计算效率的优势,在高维稀疏问题的贝叶斯建模中得到越来越广泛的应用。最近的工作表明,多项式衰减先验导致令人满意的后验渐近回归模型。在文献中,统计学家研究了全局收缩参数,即,重尾先验中的尺度参数影响后验收缩。在这项工作中,我们探讨了先验的形状,或者更具体地说,先验尾部的多项式阶数如何影响后验。我们发现,在稀疏正态均值模型下,多项式阶数确实影响后验收缩率的乘法常数。更重要的是,如果多项式阶数足够接近1,它将诱导最优贝叶斯后验收敛,在这个意义上,贝叶斯收缩率是急剧的极大极小,即,不仅后验收缩率的阶数是最优的,而且后验收缩率的乘法常数也是最优的。当全局收缩参数遵循取决于未知稀疏度$s$的确定性选择时,上述贝叶斯尖锐极大极小成立。因此,进一步提出了一个Beta先验建模,使我们的急剧极大极小贝叶斯过程是适应未知的$s$。我们的理论发现是由模拟研究证明。
2020-04-11 math.ST stat.TH
Bayesian fractional posteriors
我们考虑的分数后验分布,通过更新先验分布通过贝叶斯定理与分数似然函数,一个常见的似然函数提高到一个分数的权力。首先,我们分析了一般误指定框架下分数后验的收缩性质。我们的压缩结果只需要在真参数的Kullback-Leibler(KL)邻域上的先验质量条件(或在错误指定的情况下的KL散度极小化),以及在文献中分析正则后验压缩性质时常用的检验函数和筛子的构造.我们通过一个反例表明,控制参数空间的复杂性的一些条件是必要的定期后收缩,呈现额外的灵活性上的分数后验先验的选择。其次,我们在错误指定模型中,基于PAC-Bayes不等式,得到了一个新的Bayes预言不等式。我们的推导揭示了平均贝叶斯程序的优化基于频率程序的几个优点。作为贝叶斯预言不等式的应用,我们在任意维的凸回归问题中推导出了一个尖锐的预言不等式。我们还说明了高斯过程回归和密度估计问题的理论。
2016-11-07 math.ST stat.TH
Wasserstein posterior contraction rates in non-dominated Bayesian nonparametric models
后验收缩率(PCR)加强了贝叶斯一致性的概念,量化了后验分布集中在真实模型的任意小邻域的速度,随着样本量趋于无穷大,概率趋于1或几乎肯定。在贝叶斯非参数框架下,PCR研究中的一个常见假设是模型对观测值占主导地位;也就是说,假设后验可以通过贝叶斯公式表示。在本文中,我们考虑的问题,建立PCR的贝叶斯非参数模型的后验分布是不能通过贝叶斯公式,因此模型是非支配的观察。通过Wasserstein距离和一个合适的筛选结构,我们的主要结果建立了贝叶斯非参数模型的PCR后验是通过一个更一般的解体比贝叶斯公式。据我们所知,这是第一个通用的方法,提供非支配贝叶斯非参数模型中的PCR,它依赖于最小的建模假设和一个合适的连续性假设的后验分布。在对先验分布作了进一步假设的情况下,对所得结果进行了改进,并给出了Dirichlet过程先验和标准化扩展Gamma过程先验的应用.
2022-01-28 math.PR math.ST stat.TH
Rate-optimal posterior contraction for sparse PCA
主成分分析(PCA)可能是用于恢复数据的低秩结构的最广泛使用的统计工具之一。在高维情况下,样本协方差的前导特征向量可以近似正交于真实特征向量。然后,稀疏结构通常与低秩结构一起被假设。最近,在各种有趣的设置下,稀疏PCA的极大极小估计率被建立。另一方面,贝叶斯方法在高维估计中变得越来越流行,但很少有工作将频率论属性和贝叶斯方法联系起来进行高维数据分析。在本文中,我们提出了一个先验的稀疏PCA问题,并分析其理论性质。先验适应稀疏性和秩。证明了后验分布在最优极大极小化率下与真实值接近。此外,一个计算效率的策略,秩一的情况下进行了讨论。
2015-04-03 math.ST stat.TH
Posterior contraction rates of computational methods for Bayesian data assimilation
该研究分析离散化下贝叶斯数据同化问题的后验一致性,证明两类离散化下离散后验的收敛速率,提出用定制离散先验实现有限元离散化的最优收敛速率。
2025-06-17 cs.NA math.NA math.PR
Nonparametric Bayesian posterior contraction rates for discretely observed scalar diffusions
本文研究了具有离散采样观测值$X_0, X_Δ, \dots, X_{nΔ}$的反射扩散模型$dX_t = b (X_t)dt + σ(X_t) dW_t,$的非参数贝叶斯推断.我们分析的非线性逆问题对应的“低频采样”制度,其中$Δ>0$是固定的和$n \to \infty$。给出了扩散系数$σ$和漂移函数$b$的先验分布$Π$的条件,并证明了该条件可保证Hölder-Sobolev光滑类上后验分布的极小极大最优收缩率.这些条件的非参数随机小波级数先验的自然例子进行了验证。对于证据,我们得出新的浓度不等式的经验过程所产生的离散观察到的扩散是独立的利益。
2016-03-29 math.PR math.ST stat.ME
Posterior contraction in sparse Bayesian factor models for massive covariance matrices
稀疏贝叶斯因子模型通常用于高维应用中的简约依赖建模和降维。我们提供了理论上的理解,这样的贝叶斯过程中推断高维协方差阵的维数可以大于样本量的后验收敛速度。在真实协方差阵的相关稀疏性假设下,我们证明了常用的点质量混合先验的因子载荷导致一致的估计算子范数,即使当$p\gg n$。我们的主要贡献之一是开发了一类新的连续收缩先验,并提供了对稀疏向量周围浓度的见解。使用这样的先验的因子载荷,我们得到类似的收敛速率获得点质量混合先验。为了获得收敛速度,我们构造检验函数,使用随机矩阵理论的见解分离高维协方差阵空间中的点;开发的工具可能是独立的兴趣。我们还推导出极大极小率,并表明贝叶斯后验收敛率与极大极小率一致,直到$\sqrt{\log n}$项。
2014-06-02 math.ST stat.TH
Contraction rates for sparse variational approximations in Gaussian process regression
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Bocconi University(博科尼大学)
本文研究了高斯过程回归中稀疏变分近似的收缩速率,通过诱导变量方法推导出收缩速率的充分条件,并展示了三种协方差核下实现最优收缩速率的实验结果。
2022-03-30 math.ST stat.TH
$L^2-$posterior contraction rates for Gaussian process and random series priors in Bayesian nonparametric regression models
University of Cambridge(剑桥大学)
本文在贝叶斯非参数回归模型中,通过更弱的假设条件,证明了基于高斯过程和随机级数先验的$L^2$后验收缩速率。
2025-12-23 math.ST stat.TH
Posterior Contraction Rate of Sparse Latent Feature Models with Application to Proteomics
印第安自助过程(IBP)和系统发育印第安自助过程(pIBP)可以作为先验模型来推断数据集中的潜在特征。然而,这些模型的理论特性尚未得到充分探索,特别是在高维环境中。在本文中,我们证明了在温和的稀疏性条件下,由IBP或pIBP先验生成的潜在特征矩阵的后验分布,渐近收敛到真正的潜在特征矩阵。我们推导出后验收敛率,称为收缩率。我们表明,收敛保持即使当潜在的特征矩阵的维数与样本量增加,因此,使后验推理有效的高维设置。我们用计算机模拟证明了理论结果,其中并行回火马尔可夫链蒙特卡罗方法被应用于克服计算障碍。推导出的属性的实际效用证明通过推断的潜在功能在反相蛋白质阵列(RPPA)数据集下的IBP先验模型。手稿中报告的软件和数据集可在http://www.compgenome.org/IBP上获得。
2019-09-19 math.ST stat.AP stat.ME
Posterior Contraction Rates for Sparse Kolmogorov-Arnold Networks in Anisotropic Besov Spaces
Department of Statistics, Seoul National University(首尔国立大学统计系);Department of Statistics, Inha University(inha大学统计系);Department of Mathematics, University of Maryland(马里兰大学数学系)
本文从贝叶斯视角研究稀疏Kolmogorov-Arnold网络在各向异性Bessel空间中的后验收缩率,证明其可达到近最优收缩率,并通过固定网络深度和控制复杂度实现高效建模。
2026-05-12 cs.LG math.ST stat.ML
Posterior Impropriety of some Sparse Bayesian Learning Models
稀疏贝叶斯学习模型通常用于预测数据集的协变量数量显著大于观测值。这种模型通常采用再生核希尔伯特空间(RKHS)方法来执行预测任务,并且可以使用适当或不适当的先验来实现。在这篇文章中,我们表明,在文献中的一些稀疏贝叶斯学习模型,当使用不正确的先验,导致不正确的后验。
2021-06-19 math.ST stat.TH
Posterior Contraction Rates of the Phylogenetic Indian Buffet Processes
通过将先验分布表示为一般的随机过程,非参数贝叶斯方法提供了一种灵活的方式来结合先验知识并约束统计推断中的潜在结构。印度自助餐过程(IBP)是这样一个例子,可以用来定义一个先验分布的无限二进制功能,其中的主题之间的交换是假定的。系统发育印度自助过程(pIBP)是IBP的衍生物,能够通过根树上的随机过程对受试者之间的不可交换性进行建模,这类似于系统发育学中使用的过程,以描述受试者之间的关系。本文在二元因子模型下研究了IBP和pIBP的理论性质。我们建立了后收缩率为IBP和pIBP和证实的理论结果,通过模拟研究。这是第一个工作解决后验行为的IBP和pIBP的频率论属性。我们还证明了它的实用性,通过应用pIBP之前,在癌症基因组学领域中出现的一个真实的数据例子,其中受试者之间的交换被侵犯。
2015-05-19 math.ST q-bio.QM stat.AP
Adaptive Bayesian Regression on Data with Low Intrinsic Dimensionality
Duke University(杜克大学);The University of Texas at Dallas(达拉斯德州大学)
本文研究高斯过程先验下后验收缩速率对预测变量内在维度与回归函数平滑性的依赖,证明通用GP先验可对广泛低维结构实现自适应速率,并基于核亲和力与k近邻提出经验贝叶斯带宽先验,数值实验验证了方法的有效性。
2026-10-06 math.ST stat.TH
Adaptive Bayesian density estimation in sup-norm
研究了在密度估计中$\mathbb{L}^{\infty}$球上自适应后验收缩率的推导问题。虽然它是已知的,对数密度先验可以实现最佳的利率时,真密度是足够平滑,自适应利率仍有待证明。在这里,我们建立了所谓的尖峰和板前可以实现自适应和最佳的后验收缩率。一路上,我们证明了一个通用的$\mathbb{L}^{\infty}$收缩结果的对数密度先验独立的小波系数。有趣的是,我们的方法是不同的$\mathbb{L}^{\infty}$收缩从以前的作品,并让人想起经典的基于测试的方法中使用的贝叶斯nonparametrics。此外,我们不需要真密度的平滑度的下界,尽管在低平滑度的情况下,速率被额外的$\log(n)$因子恶化。
2021-07-01 math.ST stat.TH
Efficient Bayesian estimation and use of cut posterior in semiparametric hidden Markov models
本文研究了具有有限状态空间和非参数发射分布的隐马尔可夫模型的估计问题。给出了转移阵的有效估计,并推导出半参数Bernstein-von Mises结果.在此基础上,我们提出了一个模块化的方法,使用切割后联合估计的转移阵和发射密度。我们推导出这种方法的收缩率的一般定理。然后,我们将展示如何将这一结果可以应用于获得收缩率的结果,在我们的设置中的发射密度,一个关键的中间步骤是一个反演不等式有关$L^1$之间的距离的边缘密度之间的$L^1$距离的排放量。最后给出了平滑概率的压缩结果,避免了常用的样本分裂方法。仿真证明了理论和易于实现。
2023-03-08 math.ST stat.ME stat.TH
High-dimensional properties for empirical priors in linear regression with unknown error variance
我们研究了高维线性回归的全贝叶斯过程。我们采用[1]中介绍的数据依赖的经验先验。在他们的论文中,这些先验具有很好的后验收缩特性,并且易于计算。本文将他们的理论结果推广到误差方差未知的情况。在适当的稀疏性假设下,通过分析多元t分布,我们得到了模型选择的一致性、后验收缩率以及Bernstein von-Mises定理。
2022-02-11 math.ST stat.TH
Posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而,对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率,其中U(0,1)潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验,在真密度上的标准正则性条件下,我们得到了最优的对数因子的频率论速率。
2011-09-23 math.ST stat.TH
Bayesian mode and maximum estimation and accelerated rates of contraction
本文研究了在噪声存在下,未知回归函数的模和最大值的估计问题。我们采用贝叶斯方法,使用张量积B样条和赋予高斯先验的系数。在通常的固定在先进的抽样计划中,我们建立后验收缩率的模式和最大值,并表明他们符合这个问题的极大极小率。为了量化估计的不确定性,我们为这两个数量构建了可信集,这些数量具有最佳大小的高覆盖概率。如果一个被允许收集数据顺序,我们进一步提出了贝叶斯两阶段估计过程,其中第二阶段后验是建立在从第一阶段后验构造的可信集内收集的样本的基础上。在此可信集半径的适当条件下,我们可以加速最优收缩率从固定在先进的设置到最小极大序列率。仿真实验表明,我们的贝叶斯两阶段过程优于单阶段过程,也略有改善后,非贝叶斯两阶段过程。
2018-03-15 math.ST stat.ME stat.TH
Strong posterior contraction rates via Wasserstein dynamics
本文提出一种基于Wasserstein动力学与局部Lipschitz连续性的新方法,用于推导贝叶斯后验在强范数下的收缩速率,并在多种参数与非参数模型中取得最优或显式结果。
2023-09-06 math.ST stat.ML stat.TH
A new approach to posterior contraction rates via Wasserstein dynamics
本文提出了一种新的方法来量化贝叶斯统计中的后验收缩率(PCRs)的经典问题。我们的方法依赖于Wasserstein距离,它导致了两个主要的贡献,改善现有的文献的PCR。第一个贡献利用动态制定的Wasserstein距离,简称为Wasserstein动力学,以建立PCR下占主导地位的贝叶斯统计模型。作为一个新颖的相对于现有的方法,PCR,Wasserstein动力学允许我们绕过使用筛子在两个陈述和证明PCR,它提出了一个自然的连接PCR和三个著名的经典问题在统计和概率论:平均Glivenko-Cantelli收敛速度,估计加权Poincaré-Wirtinger常数和Sanov大偏差原则Wasserstein距离。第二个贡献结合使用Wasserstein距离与适当的筛选结构,建立PCR下完整的贝叶斯非参数模型。作为一个新颖的相对于现有文献的PCR,我们的第二个结果提供了第一次治疗的PCR下的非支配贝叶斯模型。我们的结果的应用,提出了一些经典的贝叶斯统计模型,例如,正则参数模型、无穷维指数族、无穷维线性回归和Dirichlet过程先验下的非参数模型。
2022-04-30 math.PR math.ST stat.TH
Empirical priors and coverage of posterior credible sets in a sparse normal mean model
贝叶斯方法为不确定性量化提供了一种自然的手段,即可信集可以很容易地从后验分布中获得。但是,在后验可信集达到名义频率覆盖概率的意义上,这种不确定性量化是有效的吗?研究了稀疏正态均值模型中基于一类经验先验的后验不确定性量化的频率论有效性。特别是,我们证明了我们的边际后验可信区间实现标称频率覆盖概率的条件下略弱于所需的选择一致性和伯恩斯坦-冯米塞斯定理的完整后验,和数值研究表明,我们的经验贝叶斯方法具有优越的频率覆盖概率属性相比,其他完全贝叶斯方法。
2019-08-08 math.ST stat.TH
Adaptive posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而,对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率,其中U(0,1)潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验,在真密度上的标准正则性条件下,我们得到了最优的对数因子的频率论速率。
2017-01-26 math.ST stat.TH