Posterior Convergence Analysis of $α$-Stable Sheets
本文讨论了$α$ -稳定片$U$在$\mathbb{R}^d$上的理论认识.我们这样做的动机是在贝叶斯逆问题的背景下，我们认为这些过程作为先验分布，旨在量化后验信息。我们得到的收敛结果指的是无限维随机变量的有限维近似。在这样做时，我们使用了一些变量，这些表可以采取，如随机整表示，但也随机系列扩展通过泊松过程。我们的证明将依赖于$U$是否可以省略$L^p$ -样本路径的事实。为了帮助有限近似的收敛，我们提供了一个自然的离散化来表示先验。除了收敛这些稳定的床单，我们解决是否同时适定性和良好的明确性的反问题可以实现。
2019-08-12 math.PR math.ST stat.TH
Convergence Rates of Nonparametric Posterior Distributions
研究了后验分布的渐近性态。给出了一般的后验收敛速度定理，推广了Ghosal和Van der Vaart（2000），Shen和Wasserman（2001）以及Walker，Lijor和Prunster（2007）关于后验收敛速度的结果.我们的主要工具是Hausdorff $α$ -熵（Xing and Ranneby，2008）和先验集中度的新概念，它是Ghosal和Van der Vaart（2000）提供的通常先验集中度的轻微改进。我们将我们的结果应用到几个统计模型。
2008-04-17 math.ST stat.TH
Deep Bootstrap for Bayesian Inference
对于贝叶斯，定义可能性的任务可能与定义先验的任务一样令人困惑。我们专注于当感兴趣的参数已经从可能性中解放出来，并通过损失函数直接与数据相关联时的情况。我们调查现有的工作都与吉布斯后验贝叶斯参数推断以及贝叶斯非参数推断。然后，我们强调最近的自举计算方法近似损失驱动的后验。特别是，我们专注于通过一个潜在的前推映射定义的隐式自举分布。我们调查iid采样器从近似后验通过随机引导权重通过一个训练有素的生成网络。在训练深度学习映射之后，这种iid采样器的模拟成本可以忽略不计。我们在几个例子（包括支持向量机或分位数回归）上比较了这些深度自举采样器与精确自举和MCMC的性能。我们还提供了理论上的见解，引导后验模型的错误规范的连接。
2022-05-30 stat.CO
Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism
统计推断可以看作是涉及输入信息和输出信息的信息处理过程，它更新了对某些未知参数的信念。我们认为贝叶斯框架的动力系统从遍历的观察，贝叶斯过程是基于吉布斯后验推理，一个决策过程推广的标准贝叶斯推理的可能性是由指数的损失函数。在直接观测和几乎可加损失函数的情形下，证明了后验测度在极限测度下的指数收敛性。我们对直接观测的贝叶斯后验收敛的估计是相关的，并推广了K。McGoff，S. Mukherjee和A.诺贝尔奖我们的方法利用非添加剂的热力学形式主义和大偏差属性，而不是连接。
2022-01-13 math.DS math.PR math.ST
Convergence rates for posterior distributions and adaptive estimation
本文的目的是提供后验分布的收敛速度的定理，可以应用于获得良好的收敛速度的背景下，密度估计以及回归。我们展示了如何选择先验，使后验分布收敛于最佳速率，而无需事先知道的光滑程度的密度函数或回归函数估计。
2004-10-05 math.ST stat.TH
Posterior Convergence and Model Estimation in Bayesian Change-point Problems
研究了变点个数和位置未知时贝叶斯多变点回归问题的后验分布。虽然它是相对容易应用的一般理论，以获得$O(1/\sqrt{n})$率到一些对数因子，显示精确的参数收敛速率的后验分布需要额外的工作和假设。此外，我们证明了在这些假设下的段水平的渐近正态性。对于变点数量的推断，我们表明贝叶斯方法可以产生一致的后验估计。最后，我们认为，逐点后验收敛性能证明可能有坏的有限样本性能，一致的后验模型选择必然意味着最大平方风险将渐近大于最佳$O(1/\sqrt{n})$率。这是其他作者已经注意到并研究过的同一现象的贝叶斯版本。
2008-08-20 math.ST stat.TH
Gibbs posterior convergence and the thermodynamic formalism
在本文中，我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验，标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括（隐藏）马尔可夫链模型，包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时，Gibbs后验分布在参数空间上的渐近行为。特别是，我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统，我们表明，吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下，我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系，这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。
2019-01-24 math.DS math.PR math.ST
On rates of convergence for posterior distributions in infinite-dimensional models
本文介绍一种研究后验分布收敛速度的新方法。它是最近贝叶斯一致性研究方法的自然扩张。特别地，我们改进了Dirichlet过程模型和随机伯恩斯坦多项式模型的混合模型的收敛速度。
2007-08-14 math.ST stat.TH
On rates of convergence for posterior distributions under misspecification
我们将Walker（2003，2004）的方法推广到错误指定模型的情况。基于一个涉及鞅的关键恒等式，给出了判定收敛速度的一个充分条件。我们还粗略地表明，通过使用测试得到的结果也可以得到我们的方法，这表明了潜在的更广泛的适用性，这种方法。
2007-02-06 math.ST stat.TH
On posterior distribution of Bayesian wavelet thresholding
我们调查后收敛速率小波收缩使用贝叶斯方法在一般Besov空间。而不是研究与特定损失函数相关的贝叶斯估计，我们专注于后验分布本身从非参数贝叶斯渐近的角度来看，并研究其收敛速率。我们得到相同的速度在\citet{abramovich04}，其中作者研究了几个贝叶斯估计的收敛性。
2007-09-21 math.ST stat.TH
Convergence Rates of Variational Posterior Distributions
本文研究了变分后验分布在非参数和高维推断下的收敛速度。我们制定了一般条件的前，似然，变分类的特点收敛速度。在文献中考虑的类似“先验质量和测试”条件下，发现该速率是两项的总和。首项表示真实后验分布的收敛速度，第二项由变分逼近误差贡献。对于一类先验，我们提出了一个新的先验质量条件，在该条件下，平均场类的变分逼近误差由真后验的收敛速度决定.通过推导相应变分后验的收敛速度，我们证明了我们的一般结果对各种模型、先验分布和变分类的适用性。
2019-06-17 math.ST stat.ML stat.TH
Exact Likelihood-Coin Poisson Sampling for Bayesian Inverse Problems with Sharp Complexity Bounds
University of Electronic Science and Technology of China（电子科技大学）；Southwest Jiaotong University（西南交通大学）
本文提出一种基于伯努利事件与泊松点过程细化的贝叶斯反问题精确采样框架，通过似然硬币构造实现后验采样，并给出尖锐的计算复杂度分析，适用于椭圆预解问题。
2026-09-29 math.PR math.ST stat.TH
Posterior convergence for approximated unknowns in non-Gaussian statistical inverse problems
在贝叶斯框架下，研究了在有噪声的间接观测下，估计无穷维未知量的概率分布的统计逆问题。在实践中，人们通常只考虑有限维的未知数，并在数值上研究它们的概率。由于许多未知数是函数值的，所以当对未知数的有限维近似进行细化时，了解估计的概率是否收敛是有意义的。在这项工作中，广义贝叶斯公式是一个强有力的工具，在收敛性的研究。借助于广义贝叶斯公式，将后验分布的收敛问题归结为未知量的有限维（或任何其他）近似的收敛问题。该方法允许多种先验分布，而限制主要针对噪声模型和直接理论。讨论了后验分布的三种收敛模式：弱收敛、集态收敛和变分收敛。研究了条件均值估计的收敛性。提供了几个适用的无限维非高斯噪声模型的例子，包括某些非高斯措施的Cameron-Martin公式的推广。研究了贝叶斯统计反问题的适定性。
2011-12-05 math.ST stat.TH
Posterior Convergence of Nonparametric Binary and Poisson Regression Under Possible Misspecifications
在这篇文章中，我们研究了非参数二元和Poisson回归在可能的模型误设定下的后验收敛性，假设一般的随机过程具有适当的性质。我们的二元回归模型设置和目标类似于Ghosal和Roy（2006），其中作者使用了熵界和指数相合检验的方法，并使用了筛法来实现与高斯过程先验的一致性。相比之下，对于二元和泊松回归，使用一般的随机过程先验，我们的方法包括验证渐近均分性质以及筛分方法，这是Shalizi（2009）的一般结果的一种机动，甚至对错误指定的模型也有用。此外，我们不仅要建立后验一致性，还要建立后验概率收敛的速率，即Kullback-Leibler发散速率。我们还研究了传统的后验收敛速度。有趣的是，从主观贝叶斯的角度来看，我们将表明，后验预测分布可以准确地近似最好的可能的预测分布在这个意义上的Hellinger距离，以及两个分布之间的全变差距离可以趋于零，尽管误指定。
2020-05-01 math.ST stat.TH
Some Simple Formulas for Posterior Convergence Rates
我们推导出一些简单的关系，展示了如何后验收敛速度与两个驱动因素：一个“惩罚发散”的前，这措施的能力，提出了一个不可忽略的工作模型，以近似真实的模型和“规范复杂性”的前，这措施的复杂性的前支持，加权的先验概率群众的先验分布。这些公式是明确的，不涉及任何必要的假设，易于应用。我们将这种方法应用到模型平均的情况下，得到一些有用的预言不等式，可以优化性能自适应不知道真正的模型。
2014-11-11 math.ST stat.TH
Γ-convergence of Onsager-Machlup functionals. Part I: With applications to maximum a posteriori estimation in Bayesian inverse problems
统计逆问题的贝叶斯解可以用后验分布的一种模式来概括，即MAP估计量。MAP估计基本上与逆问题的（正则化）变分解相一致，被视为后验测量的Onsager-Machlup泛函的最小化。反问题稳定性分析中的一个公开问题是建立由变分方法和贝叶斯方法获得的解的收敛性质之间的关系。为了解决这个问题，我们提出了一个通用的收敛理论的模式，是基于$Γ$收敛的Onsager-Machlup泛函，并将此理论应用到贝叶斯逆问题与高斯和边缘保持Besov先验。本文的第二部分考虑更一般的先验分布。
2021-11-29 cs.NA math.NA math.PR
Convergence rates of posterior distributions for noniid observations
研究了基于既不独立又不同分布观测值的后验分布和Bayes估计的渐近性态。我们给出了一般结果的收敛速率的后验测量相对于来自测试标准的距离。然后，我们专门研究我们的结果，独立的，非同分布的观测，马尔可夫过程，平稳高斯时间序列和白噪声模型。我们将我们的一般结果应用到无限维统计模型的几个例子中，包括带正态误差的非参数回归、二元回归、泊松回归、区间删失模型、时间序列谱密度的Whittle估计和非线性自回归模型。
2007-08-03 math.ST stat.TH
Empirical Bayes analysis of spike and slab posterior distributions
在稀疏正态均值模型中，考虑了与尖峰和平板先验分布相关的贝叶斯后验分布的收敛性。通过边际最大似然经验贝叶斯校准的关键稀疏超参数。插件的后验平方$L^2$规范收敛于最小最大速率的欧几里德规范适当选择的尖峰和板分布。可能的选择包括标准的道钉和厚尾板，以及Rocková和George的道钉和厚尾板LASSO。令人惊讶的是，流行的拉普拉斯平板显示，导致一个次优率的完整的经验贝叶斯后验。这提供了一个引人注目的例子，其中经验贝叶斯后验的各方面的收敛并不需要完整的经验贝叶斯后验本身的收敛。
2018-10-16 math.ST stat.TH
Posterior convergence rates of Dirichlet mixtures at smooth densities
研究了正态分布的Dirichlet混合分布作为先验的贝叶斯密度估计的后验分布的收敛速度。假设真密度是连续可微的两倍。带宽由先验序列给出，该先验序列是通过按适当的顺序缩放单个先验而获得的。为了处理这个问题，我们推导出一个新的一般率定理，考虑可数覆盖的参数空间的先验概率满足可和性条件以及某些个人的界限上的Hellinger度量熵。我们应用这一新的一般定理后收敛速度计算界Hellinger（括号）熵数的参与类的密度，在一个光滑的密度的近似正常的混合物和浓度率的前。最好的可获得的收敛速率的后变成是等同于众所周知的频率论率的综合均方误差$n^{-2/5}$的对数因子。
2007-08-14 math.ST stat.TH
Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective
本文研究了经验贝叶斯后验分布在非参数和高维推断下的收敛速度。证明了只要超参数集是离散的，由极大边际似然估计量导出的经验Bayes后验分布可以看作是分层Bayes后验分布的变分逼近.经验贝叶斯和变分贝叶斯之间的这种联系使我们能够利用变分贝叶斯文献中的最新结果，并从变分的角度直接获得经验贝叶斯后验分布的收敛速度。对于一个更一般的超参数集，不一定是离散的，我们引入了一种新的技术，称为“先验分解”来处理先验分布，可以写为凸组合的概率测度，其支持是低维子空间。这导致了经验贝叶斯的收敛速度的经典“先验质量和检验”条件的广义版本。我们的理论被应用到一些统计估计问题，包括非参数密度估计和稀疏线性回归。
2020-09-08 math.ST stat.ML stat.TH
Convergence Rates of Posterior Distributions in Markov Decision Process
NC State University（北卡罗来纳州立大学）
在本文中，我们显示的收敛速度的后验分布的模型动力学在MDP的情节和连续的任务。理论结果适用于一般的状态和动作空间，动力学的参数空间可以是无穷维的。此外，我们还证明了在固定策略或最优策略下，平均累积报酬的后验分布和后悔界的收敛速度。提出了一种改进的Thompson采样算法，它既能提供动力学的后验收敛速度，又能提供后悔型界。然后将已有的结果推广到马尔可夫对策。最后，我们展示了三种模拟场景的数值结果，并进行了讨论。
2019-07-22 cs.LG math.OC math.ST
Posterior Probabilities: Nonmonotonicity, Asymptotic Rates, Log-Concavity, and Turán's Inequality
在标准贝叶斯框架中，假设数据由参数空间$Θ$中的由$θ$参数化的分布生成，在该参数空间上给出先验分布$π$。贝叶斯统计学家通过给定观测数据的后验概率来量化真实参数是$Θ$中的$θ_{0}$的信念。我们调查的行为后验信念$θ_{0}$下产生的数据时，一些参数$θ_{1},$可能是或可能不是相同的$θ_{0}.$从随机顺序，特别是似然比优势，获得后验分布，我们认为单调性的后验概率作为一个函数的样本量时，数据顺序到达。虽然$θ_{0}$ -后验是单调增加的（即，它是下鞅），当数据是在同一$θ_{0}$下生成时，它一般不需要单调递减，甚至在它的总体期望方面也不需要。当数据是在不同的$θ_{1}.$下生成时，它实际上可以保持多次上升和下降，甚至在简单的情况下，例如iid硬币投掷。我们获得精确的渐近速率时，数据来自广泛的类指数分布族，这些速率特别意味着，期望的$θ_{0}$ -后下$θ_{1}\neqθ_{0}$最终严格减少。最后，我们表明，在一些有趣的情况下，这个期望是一个对数凹函数的样本大小，因此单峰。在伯努利的情况下，我们得到这一点，通过发展一个不等式，这是有关图兰不等式勒让德多项式。
2022-09-23 econ.TH math.PR math.ST
Adaptive Posterior Convergence Rates in Bayesian Density Deconvolution with Supersmooth Errors
使用非参数先验分布的贝叶斯密度反卷积是基于频率核的反卷积估计的有用替代方案，这是由于其潜在的广泛适用性、直接的不确定性量化和对更复杂模型的可推广性。这篇文章是第一个实质性的努力，从理论上量化的行为，在最近的研究路线。特别地，假设已知的超光滑误差密度，在真密度上的法线的狄利克雷过程混合导致与在适当的密度的霍德尔空间的光滑度$η$上自适应的极小极大速率$(\log n)^{-η/β}$相同的后验收敛速度，其中$β$是误差分布的光滑度。我们的主要贡献是实现自适应极小极大率相对于$L_p$规范$2 \leq p \leq \infty$在温和的正则性条件下的真密度。途中，我们开发了严格的浓度范围的一类核为基础的反卷积估计，这可能是独立的利益。
2013-09-09 math.ST stat.TH
Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes
Mathematical Institute（数学研究所）；University of Oxford（牛津大学）
本文扩展高斯过程等价性证明至PSEUDO-IID权重分布，涵盖稀疏与低秩网络，实现方差等效并支持混沌边缘调优与贝叶斯后验计算。
2024-03-18 cs.LG stat.ML
General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications
虽然贝叶斯推理在包括统计学家在内的很大一部分科学家中是一种非常流行的范式，但大多数应用都考虑了客观的先验知识，需要进行严格的调查（Efron，2013，Science）。虽然它有几个最佳的属性，贝叶斯推理的一个主要缺点是缺乏对数据污染和模型错误指定的鲁棒性，这在使用客观先验时变得有害。本文给出了一种能产生稳健推断的Bayes伪后验分布的一般形式。在一般的参数设置下建立了与新的伪后验估计和相应的Bayes估计相关的指数收敛结果，并对独立平稳和非齐次模型进行了说明.几个额外的细节和属性的过程中描述，包括固定设计回归模型下的估计。
2020-09-10 math.ST stat.ME stat.TH
Posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。
2011-09-23 math.ST stat.TH
Posterior Convergence of Gaussian and General Stochastic Process Regression Under Possible Misspecifications
本文研究了非参数回归模型的后验收敛性，其中未知的回归函数由适当的随机过程建模。在这方面，我们考虑两个设置。第一种设置是基于高斯过程，其中协变量是随机的或非随机的，噪声可以是正态分布或双指数分布。在第二种设置中，我们假设基本的回归函数是由一些合理光滑的，但未指定的随机过程满足合理的条件。噪声的分布也未指定，但假设是厚尾的。在以前的研究中，关于同样的问题，我们不假设真理在于假设的参数空间，从而明确允许的可能性误指定。我们利用Shalizi（2009）的一般结果，不仅建立了后验一致性，而且建立了后验概率收敛的速率，即Kullback-Leibler发散速率。我们还研究了更熟悉的后验收敛速度。有趣的是，我们表明，后验预测分布可以准确地近似最好的可能的预测分布的意义上说，Hellinger距离，以及两个分布之间的全变差距离可以趋于零，尽管误指定。
2020-05-01 math.ST stat.ME stat.TH
A Simple Example of Bayesian Nonparametric Inconsistency
本文给出一个简单例子，说明当先验尾部较重时，贝叶斯层次模型中分布函数的满支撑先验会产生不一致后验，统一推广了相关一致性与不一致性结果，具有启发意义。
2026-08-03 math.ST stat.TH
Adaptive posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。
2017-01-26 math.ST stat.TH
Convergence of the groups posterior distribution in latent or stochastic block models
我们提出了一个统一的框架来研究潜在的和随机的块模型，这是用来同时聚类的数据矩阵的行和列。在这个新的框架中，我们研究的行为的群体后验分布，给定的数据。我们的特点是是否有可能渐近恢复矩阵的行和列上的实际组，依赖于参数的相合估计。换句话说，我们建立了充分条件的群体后验分布收敛（随着数据的大小增加）的狄拉克质量位于实际（随机）群体配置。特别是，我们强调了一些情况下，该模型假设的对称性矩阵的连接概率，防止恢复原始组。我们还讨论了这些结果的有效性时，在数据矩阵中的非空元素的比例收敛到零。
2015-04-14 math.ST stat.TH
Posterior contraction rates of computational methods for Bayesian data assimilation
该研究分析离散化下贝叶斯数据同化问题的后验一致性，证明两类离散化下离散后验的收敛速率，提出用定制离散先验实现有限元离散化的最优收敛速率。
2025-06-17 cs.NA math.NA math.PR
Convergence Rates for Bayesian Estimation and Testing in Monotone Regression
形状限制，如函数的单调性，通常在统计建模中自然出现。我们考虑一个贝叶斯方法的问题估计的单调回归函数和测试的单调性。我们使用分段常数函数构造一个先验分布。对于估计，这些步骤的高度的先验施加单调性是合理的，但由此产生的后验更难从理论上分析。我们考虑一个"投影后验"的方法，其中使用共轭正常的前，但单调性约束施加在后验样本的单调函数的空间上的投影映射。我们表明，由此产生的后合同在$L_1$度量下的最佳速率$n^{-1/3}$和在经验$L_p$度量下的接近最佳速率$0<p\le 2$。投影后验方法在计算上也更方便。我们还构造了一个贝叶斯检验的假设，单调性使用后验概率的收缩邻域的一组单调函数。我们表明，由此产生的测试具有普遍的一致性属性，并获得分离率，确保所产生的幂函数接近1。
2020-08-03 math.ST stat.TH
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Equivalence of Convergence Rates of Posterior Distributions and Bayes Estimators for Functions and Nonparametric Functionals
研究了非参数回归中具有高斯过程先验的贝叶斯方法的后验收缩率及其对微分算子的插入性。对于一般类的内核，我们建立收敛速度的后验测量的回归函数及其衍生物，这都是最小最大优化的对数因子的功能在某些类。计算结果表明，回归函数及其导数的率优估计具有相同的超参数选择，表明贝叶斯方法对导数阶数有很强的适应性，并具有将实值泛函推广到函数值泛函的广义插入性质.这导致了一个实际上简单的方法来估计的回归函数及其衍生物，其有限样本的性能进行评估，使用模拟。证明了在一定条件下，Bayes估计的任何收敛速度都对应于后验分布的相同收敛速度（即，后收缩率），反之亦然。这种等价性适用于一般的高斯过程，并涵盖了$L_2$和$L_{\infty}$规范下的回归函数及其导数泛函。除了连接这两个基本的大样本性质在贝叶斯和非贝叶斯制度，这样的等价性，使一个新的例程，建立后验收缩率计算收敛速度的非参数点估计。在我们的论点的核心是一个运营商的理论框架内核岭回归和等价的内核技术。我们推导出一系列尖锐的非渐近界，在建立非参数点估计的收敛速度和等价理论，这可能是独立的兴趣是关键。
2020-11-27 math.ST stat.ME stat.ML
A Diffusion Process Perspective on Posterior Contraction Rates for Parameters
本文通过Langevin扩散过程，特别是通过控制随机过程的矩和取极限，分析了贝叶斯模型中参数的后验收缩率。类似于统计M-估计和随机最优化算法的非渐近分析，我们的收缩率依赖于人口对数似然函数的结构，以及人口和样本对数似然函数之间的随机扰动界。收敛速度由一个非线性方程确定，该方程将种群水平结构与随机扰动项以及表征扩散行为的项联系起来。基于这种技术，我们还证明了非渐近版本的Bernstein-von-Mises保证后。我们说明了这一一般性的理论推导后收敛速度为各种具体的例子，以及近似后验分布使用Langevin抽样程序计算。
2022-08-17 math.ST stat.TH
Lower bounds for posterior rates with Gaussian process priors
与高斯过程先验相关的后验分布收敛速率的上界由van der Vaart和van Zanten在[14]中获得，并用涉及高斯先验的再生核希尔伯特空间的浓度函数表示。在这里，得到了下界对应物。作为推论，我们得到了精确的收敛速率的后验高斯先验在各种设置。此外，我们将[14]中关于Riemann-Liouville先验的上界结果推广到一个连续的参数族。
2008-12-22 math.ST stat.TH
Posterior Representations for Bayesian Context Trees: Sampling, Estimation and Convergence
我们重新审视贝叶斯上下文树（BCT）建模框架的离散时间序列，这是最近发现是非常有效的，在许多任务，包括模型选择，估计和预测。一种新的表示形式的诱导后验分布的模型空间中的一个简单的分支过程，并在理论和实践中探讨了一些后果。首先，它示出的分支过程表示导致一个简单的可变维的蒙特卡罗采样器的联合后验分布的模型和参数，它可以有效地产生独立的样本。这个采样器被发现是更有效的比以前的MCMC采样器相同的任务。然后，分支过程表示被用来建立BCT后验的渐近一致性，包括推导的几乎必然收敛速度。最后，对诱导贝叶斯熵估计的性能进行了广泛的研究。它的效用说明通过模拟实验和现实世界的应用程序，它被发现优于几个国家的最先进的方法。
2023-03-20 cs.IT math.IT math.ST
Amortized Bayesian inference for clustering models
Columbia University（哥伦比亚大学）
我们开发了有效的摊销近似贝叶斯推断的概率聚类模型，如狄利克雷过程混合模型的后验分布的方法。该方法是基于映射到条件概率的集群安排的分布式，不变性表示。该方法易于并行化，从聚类分配的近似后验中产生iid样本，具有与单个Gibbs采样器扫描相同的计算成本，并且可以容易地应用于共轭和非共轭模型，因为训练仅需要来自生成模型的样本。
2018-11-24 cs.LG stat.CO stat.ML
IID Sampling from Intractable Distributions
Indian Statistical Institute（印度统计研究所）
提出一种无需紧支撑假设，可高效并行生成任意维度欧几里得空间目标分布独立同分布样本的方法。
2026-02-22 stat.CO stat.ME
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而，当参数仅通过似然性弱识别时，后验结果可能会像前验结果一样具有较重的尾部，从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”，从而产生先验的正则化版本。我们开发了一种正则化方法，与以前的建议不同，它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质，重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明，提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上，唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$，在贝叶斯桥先验的情况下，我们表明，采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
The Normal Law Under Linear Restrictions: Simulation and Estimation via Minimax Tilting
从高维截断的多元正态分布进行模拟是统计计算中经常出现的问题，并且通常仅使用近似MCMC抽样是可行的。在这篇文章中，我们提出了一个minimax倾斜方法，从截断的多元正态分布精确模拟iid。新的方法提供了一种模拟方法和一个有效的估计到目前为止棘手的高斯积分。证明了该估计量具有罕见的零相对误差渐近性质。数值实验表明，该方案是准确的，在广泛的设置竞争估计方案失败。我们给出了一个应用程序，以准确的iid模拟的概率回归模型的贝叶斯后验。
2016-03-14 stat.CO
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法（Block-IBA），用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同，现有的算法假设未知信号的非零元素的簇结构是独立同分布的（i.i.d.），我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型（BGHMM）来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化（EM），并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性，并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Minimax Posterior Convergence Rates and Model Selection Consistency in High-dimensional DAG Models based on Sparse Cholesky Factors
本文研究了经验稀疏Cholesky先验下的高维稀疏有向无环图模型。其中，强模型选择一致性或图选择一致性是在比现有文献更一般的条件下得到的。与Cao，Khare和Ghosh（2017）相比，所需条件在Cholesky因子中非零元素的维数，稀疏性和下界方面有所减弱。此外，我们的结果不需要不可表示的条件，这是必要的Lasso类型的方法。我们还得到了精度矩阵和Cholesky因子关于各种矩阵范数的后验收敛速度。所得的后验收敛速度是现有贝叶斯方法中最快的。特别是，我们证明了我们的后验收敛速度的Cholesky因素是极大极小或至少接近极大极小取决于真正的稀疏的相对大小为整个尺寸。仿真研究表明，该方法优于竞争的方法。
2018-11-15 stat.ME
Dependence of Inferred Climate Sensitivity on the Discrepancy Model
我们考虑的影响，不同的时间误差结构的推断平衡气候敏感性\footnote{ECS is defined as the realized equilibrium surface warming---globally-averaged surface air temperature---for a doubling of CO$_2$}（ECS），在能量平衡模式（EBM）的背景下，通常采用在分析地球系统模式（ESM）和观测。我们考虑了从不相关（IID正常）到AR（1）到高斯相关（高斯过程GP）的误差结构，以分析21个不同ESM中的突变4xCO $_2$ CMIP 5实验。对于七个ESM，ECS的后验分布被认为依赖于相当弱的差异模型，这表明差异在很大程度上是不相关的。然而，四个ESM的差异较大，其余ESM的差异适中，这使我们认为AR（1）是一个合适的差异相关结构，可以用于本文所考虑的情况。其他重要调查结果包括：（a）当ECS（众数）的估计值不同时，使用IID的估计值较高（b）对于四种ESM，IID差异结构的ECS推断的不确定性高于其他相关结构，（c）GP参数估计的不确定性远高于IID或AR（1）参数估计的不确定性，可能是由于可识别性问题。他们需要进一步调查。
2018-09-10 physics.ao-ph physics.data-an stat.CO
Richer priors for infinitely wide multi-layer perceptrons
The University of Queensland（昆士兰大学）
多层感知器（MLP）参数的零均值iid先验分布所诱导的函数的分布在较弱的条件下收敛于高斯过程（GP）。我们首先将这一结果扩展到具有一般零或非零均值的独立先验，其次扩展到一个部分可交换先验族，该族概括了iid先验。我们讨论了如何自然产生的第二个先验时，考虑等价类的功能在MLP和通过训练过程，如随机梯度下降。由部分可交换先验得到的模型是GP，在先验和后验预测分布需要超参数边缘化的意义上具有额外的推断水平。我们推导出的内核的限制GP在深MLP，经验表明，这些内核避免某些病理存在于先前研究的先验。我们凭经验评估我们的索赔收敛测量有限宽度模型和限制模型之间的最大平均差异。我们比较我们的新的限制模型的性能，一些以前讨论过的模型合成回归问题。我们观察到随着模型深度的增加，边际似然和超后验的病态越来越严重，与有限宽度网络相似，这需要众所周知的优化技巧。
2019-11-29 cs.LG stat.ML
Generative Bayesian Inference with GANs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
本文提出了一种基于GANs的贝叶斯推断方法，通过对抗性优化直接目标后验，并结合数据驱动提议和变分贝叶斯进行后处理，实验证明其在模拟数据中表现优异。
2026-02-16 stat.CO stat.ME stat.ML
Bayes Calculations from Quantile Implied Likelihood
在统计实践中，给定数据集的现实贝叶斯模型可以由似然函数定义，由于大数据样本量、高参数维数或复杂的似然函数形式，该似然函数在分析或计算上是难以处理的。这反过来又对模型参数的后验分布的计算和推断提出了挑战。对于这样的模型，引入了一个易于处理的似然函数，它通过其分位数函数逼近精确的似然。它由关键量的渐近卡方置信分布定义，该分布由给定模型参数的样本分位数的渐近正态分布生成。该分位数隐含似然（QIL）产生近似的后验分布，其可以通过使用惩罚对数似然最大化或任何合适的蒙特卡罗算法来估计。通过对样本量达到数百万的模拟和真实数据集的贝叶斯分析，说明了贝叶斯计算的QIL方法。分析涉及各种模型的单变量或多变量iid或非iid数据，低或高的参数维数，其中许多是由棘手的似然定义。概率模型包括学生t、g和h以及g和k分布;具有许多协变量的贝叶斯logit回归模型;指数随机图模型，一种双重棘手的网络模型;多变量偏正态模型，当逆协方差阵相对于样本量较大时，用于逆协方差矩阵的稳健推断;以及Wallenius分布模型。
2019-03-16 stat.ME
Damped Posterior Linearization Filter
迭代后验线性化滤波器（IPLF）是一种贝叶斯状态估计算法，使用迭代统计回归执行测量更新。IPLF背后的主要结果是，当测量函数的统计回归在后验中而不是在非迭代卡尔曼滤波器扩展中进行时，后验近似更准确。在IPLF中，每次迭代原则上给出更好的后验估计，以在下一次迭代中获得更好的统计回归和更准确的后验估计。然而，IPLF可能会出现分歧。IPLF的不动点并没有被描述为最优化问题的解，这使得提高其收敛性具有挑战性。在这封信中，我们介绍了一个双循环版本的IPLF，其中内部循环使用优化算法计算后验均值。仿真结果表明，该算法具有更好的收敛性比IPLF，其精度是类似或优于其他国家的最先进的算法。
2018-02-16 math.OC stat.CO
Neural Posterior Estimation for Tomographic Weak Lensing Mass Mapping
University of Michigan（密歇根大学）
本文提出神经后验估计（NPE）方法，训练深度神经网络将多波段图像直接映射为层析剪切和会聚场的变分分布，实现快速、摊销的场级弱透镜推断，并在DC2模拟数据上验证了其校准性与准确性。
2026-09-09 astro-ph.CO astro-ph.IM cs.CV
On convergence of entropy of distribution functions in the max domain of attraction of max stable laws
最大稳定律是独立同分布随机变量（RVS）的线性归一化部分最大值的极限律。这些类似于稳定的法律，这是限制法律规范化部分和的iid rvs。本文研究了最大稳定律的最大吸引区域中分布函数在线性正规化下的熵极限定理。更具体地说，我们研究的问题的香农熵的线性归一化的部分最大值的iid rvs的收敛到相应的极限熵时，线性归一化的部分最大值收敛到一些非退化rv。我们能够证明，香农熵不仅收敛，但事实上，在某些情况下，增加到极限熵。我们讨论几个例子。我们还研究了第k个上限的类似结果。
2014-02-03 math.PR math.ST stat.TH
Eigenvalues and eigenvectors of heavy-tailed sample covariance matrices with general growth rates: the iid case
本文研究了当$p$和样本量$n$一起收敛到无穷大时，具有iid项的$p$维时间序列样本协方差阵的最大特征值的联合分布收敛性.我们只考虑重尾时间序列，在这个意义上，条目满足一些定期的变化条件，确保他们的四阶矩是无限的。在这种情况下，Soshnikov [31，32]和Auffinger等人[2]证明了样本协方差阵的归一化特征值的点过程向非齐次泊松过程的弱收敛，这反过来意味着最大特征值按分布收敛到Fréchet分布的随机变量。他们在假设$p$和$n$彼此成比例的情况下证明了这些结果。在本文中，我们表明，上述结果仍然有效，如果$p$增长在任何多项式的速度。这些证明与文献[2，31，32]中的证明不同，我们采用了大偏差技术。证明表明，只有样本协方差阵的对角线与最大特征值及其对应的特征向量的渐近行为有关，这些特征值和特征向量接近于标准基向量。我们还讨论了样本自协方差矩阵的结果的扩展。
2016-08-24 math.PR math.ST stat.TH
On tail inference in iid settings with nonnegative extreme value index
本文在非负极值指数独立同分布假设下，从理论和数值上比较基于极值理论与非参数平滑的尾部概率及平均超出函数估计量，并给出有限样本均方误差比较。
2024-09-02 math.ST stat.TH
Uncertainty quantification and testing in a stochastic block model with two unequal communities
我们显示后收敛的社区结构中种植的双节模型，几个有趣的先验。示例包括每个顶点上的标签是iid Bernoulli分布的，具有某些参数$r\in(0,1)$。参数$r$可以是固定的，或者配备有β分布。我们对类的大小没有限制，类的大小可能小到零，或者包括所有顶点，以及介于两者之间的所有东西。这使我们能够在没有可区分社区的均匀（Erdös-Rényi）随机图或种植二节模型之间进行测试。后验收敛的精确界使我们能够将可信集转换为置信集。后验概率的对称检验是一致的。
2021-08-13 math.ST stat.TH
Rates of Convergence of Generalised Variational Inference Posteriors under Prior Misspecification
University of Warwick（华威大学）
本文研究了在先验不规范情况下，广义变分推断后验的收敛速度和鲁棒性，提出了存在性和唯一性的充分条件以及收敛速度的理论保障。
2025-12-03 math.ST stat.ML stat.TH
