后验分布和自适应估计的收敛速度

贝叶斯小波阈值分割的后验分布

On posterior distribution of Bayesian wavelet thresholding

我们调查后收敛速率小波收缩使用贝叶斯方法在一般Besov空间。而不是研究与特定损失函数相关的贝叶斯估计，我们专注于后验分布本身从非参数贝叶斯渐近的角度来看，并研究其收敛速率。我们得到相同的速度在\citet{abramovich04}，其中作者研究了几个贝叶斯估计的收敛性。

自适应上确界范数后验收缩：小波Spike-and-Slab和各向异性Besov空间

Adaptive Supremum Norm Posterior Contraction: Wavelet Spike-and-Slab and Anisotropic Besov Spaces

在统计学中，上确界范数损失对函数估计误差的量化更有直观意义。在误差未知的多元非参数回归的背景下，我们提出了一个贝叶斯过程的基础上的尖峰和板条先验和小波投影估计的回归函数和所有的混合偏导数。我们证明了它们的后验分布在上模损失下最优地自适应地收缩到真值。在贝叶斯非参数化理论中，通过指数误差检验的主定理不足以处理这个问题，我们提出了一种新的思想，将回归模型下的后验系统地简化为由准白噪声模型产生的后验，后者大大简化了我们的速率计算。因此，本文采取的第一步，明确显示如何可以将结果从白噪声回归模型在贝叶斯设置。

马蹄铁的自适应后收缩率

Adaptive posterior contraction rates for the horseshoe

本文研究了稀疏多元正态均值模型中基于马蹄先验的贝叶斯估计过程的频率论性质。以前的理论结果假设稀疏水平，即信号的数量，是已知的。我们放弃这一假设，并描述了马蹄铁先验的一个关键参数的最大边际似然估计（MMLE）的行为。我们证明了MMLE是一个有效的估计的稀疏水平，在这个意义上说，它导致（近）极小极大最优估计的基本均值向量生成的数据。除了这个经验贝叶斯过程中，我们考虑分层贝叶斯方法，把先验的未知稀疏水平以及。我们表明，这两种贝叶斯技术导致率自适应最优后验收缩，这意味着马蹄后验是一个很好的候选人生成率自适应可信集。

非高斯统计反问题中近似未知量的后验收敛性

Posterior convergence for approximated unknowns in non-Gaussian statistical inverse problems

在贝叶斯框架下，研究了在有噪声的间接观测下，估计无穷维未知量的概率分布的统计逆问题。在实践中，人们通常只考虑有限维的未知数，并在数值上研究它们的概率。由于许多未知数是函数值的，所以当对未知数的有限维近似进行细化时，了解估计的概率是否收敛是有意义的。在这项工作中，广义贝叶斯公式是一个强有力的工具，在收敛性的研究。借助于广义贝叶斯公式，将后验分布的收敛问题归结为未知量的有限维（或任何其他）近似的收敛问题。该方法允许多种先验分布，而限制主要针对噪声模型和直接理论。讨论了后验分布的三种收敛模式：弱收敛、集态收敛和变分收敛。研究了条件均值估计的收敛性。提供了几个适用的无限维非高斯噪声模型的例子，包括某些非高斯措施的Cameron-Martin公式的推广。研究了贝叶斯统计反问题的适定性。

超光滑误差下贝叶斯密度反褶积的自适应后验收敛速度

Adaptive Posterior Convergence Rates in Bayesian Density Deconvolution with Supersmooth Errors

使用非参数先验分布的贝叶斯密度反卷积是基于频率核的反卷积估计的有用替代方案，这是由于其潜在的广泛适用性、直接的不确定性量化和对更复杂模型的可推广性。这篇文章是第一个实质性的努力，从理论上量化的行为，在最近的研究路线。特别地，假设已知的超光滑误差密度，在真密度上的法线的狄利克雷过程混合导致与在适当的密度的霍德尔空间的光滑度$η$上自适应的极小极大速率$(\log n)^{-η/β}$相同的后验收敛速度，其中$β$是误差分布的光滑度。我们的主要贡献是实现自适应极小极大率相对于$L_p$规范$2 \leq p \leq \infty$在温和的正则性条件下的真密度。途中，我们开发了严格的浓度范围的一类核为基础的反卷积估计，这可能是独立的利益。

非参数二元和Poisson回归在可能误设下的后验收敛性

Posterior Convergence of Nonparametric Binary and Poisson Regression Under Possible Misspecifications

在这篇文章中，我们研究了非参数二元和Poisson回归在可能的模型误设定下的后验收敛性，假设一般的随机过程具有适当的性质。我们的二元回归模型设置和目标类似于Ghosal和Roy（2006），其中作者使用了熵界和指数相合检验的方法，并使用了筛法来实现与高斯过程先验的一致性。相比之下，对于二元和泊松回归，使用一般的随机过程先验，我们的方法包括验证渐近均分性质以及筛分方法，这是Shalizi（2009）的一般结果的一种机动，甚至对错误指定的模型也有用。此外，我们不仅要建立后验一致性，还要建立后验概率收敛的速率，即Kullback-Leibler发散速率。我们还研究了传统的后验收敛速度。有趣的是，从主观贝叶斯的角度来看，我们将表明，后验预测分布可以准确地近似最好的可能的预测分布在这个意义上的Hellinger距离，以及两个分布之间的全变差距离可以趋于零，尽管误指定。

变分后验分布的收敛速度

Convergence Rates of Variational Posterior Distributions

本文研究了变分后验分布在非参数和高维推断下的收敛速度。我们制定了一般条件的前，似然，变分类的特点收敛速度。在文献中考虑的类似“先验质量和测试”条件下，发现该速率是两项的总和。首项表示真实后验分布的收敛速度，第二项由变分逼近误差贡献。对于一类先验，我们提出了一个新的先验质量条件，在该条件下，平均场类的变分逼近误差由真后验的收敛速度决定.通过推导相应变分后验的收敛速度，我们证明了我们的一般结果对各种模型、先验分布和变分类的适用性。

后验收敛速度的几个简单公式

Some Simple Formulas for Posterior Convergence Rates

我们推导出一些简单的关系，展示了如何后验收敛速度与两个驱动因素：一个“惩罚发散”的前，这措施的能力，提出了一个不可忽略的工作模型，以近似真实的模型和“规范复杂性”的前，这措施的复杂性的前支持，加权的先验概率群众的先验分布。这些公式是明确的，不涉及任何必要的假设，易于应用。我们将这种方法应用到模型平均的情况下，得到一些有用的预言不等式，可以优化性能自适应不知道真正的模型。

非线性观测值的后验分布的收敛速度

Convergence rates of posterior distributions for noniid observations

研究了基于既不独立又不同分布观测值的后验分布和Bayes估计的渐近性态。我们给出了一般结果的收敛速率的后验测量相对于来自测试标准的距离。然后，我们专门研究我们的结果，独立的，非同分布的观测，马尔可夫过程，平稳高斯时间序列和白噪声模型。我们将我们的一般结果应用到无限维统计模型的几个例子中，包括带正态误差的非参数回归、二元回归、泊松回归、区间删失模型、时间序列谱密度的Whittle估计和非线性自回归模型。

尖峰和板状后验分布的经验Bayes分析

Empirical Bayes analysis of spike and slab posterior distributions

在稀疏正态均值模型中，考虑了与尖峰和平板先验分布相关的贝叶斯后验分布的收敛性。通过边际最大似然经验贝叶斯校准的关键稀疏超参数。插件的后验平方$L^2$规范收敛于最小最大速率的欧几里德规范适当选择的尖峰和板分布。可能的选择包括标准的道钉和厚尾板，以及Rocková和George的道钉和厚尾板LASSO。令人惊讶的是，流行的拉普拉斯平板显示，导致一个次优率的完整的经验贝叶斯后验。这提供了一个引人注目的例子，其中经验贝叶斯后验的各方面的收敛并不需要完整的经验贝叶斯后验本身的收敛。

光滑密度下Dirichlet混合模型的后验收敛速度

Posterior convergence rates of Dirichlet mixtures at smooth densities

研究了正态分布的Dirichlet混合分布作为先验的贝叶斯密度估计的后验分布的收敛速度。假设真密度是连续可微的两倍。带宽由先验序列给出，该先验序列是通过按适当的顺序缩放单个先验而获得的。为了处理这个问题，我们推导出一个新的一般率定理，考虑可数覆盖的参数空间的先验概率满足可和性条件以及某些个人的界限上的Hellinger度量熵。我们应用这一新的一般定理后收敛速度计算界Hellinger（括号）熵数的参与类的密度，在一个光滑的密度的近似正常的混合物和浓度率的前。最好的可获得的收敛速率的后变成是等同于众所周知的频率论率的综合均方误差$n^{-2/5}$的对数因子。

无IID结构观测值的后验分布的收敛速度

Convergence rates of posterior distributions for observations without the iid structure

在贝叶斯非参数过程的渐近性研究中，一致指数相容检验存在的经典条件被广泛采用。因为我们遵循贝叶斯方法，所以探索包含先验分布的替代和适当条件似乎更自然。本文给出了一个新的先验相关积分条件，建立了不一定独立同分布观测值的一般后验收敛速度定理。Ghosal和van der Vaart \cite{ghv1}最近研究了这种观测的后验收敛速度。我们还采用了Xing和Ranneby给出的Hausdorff $α$ -熵\cite{xir1} \cite{xi1}，它也是先验依赖的，并且比广泛使用的度量熵要小.这导致了几个现有定理的扩展。特别地，我们建立了一般Markov过程的后验收敛速度定理，并作为其应用，改进了目前已知的非线性自回归模型的后验收敛速率.

非线性隐变量模型的自适应后验收敛速度

Adaptive posterior convergence rates in non-linear latent variable models

非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。

Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective

We study the convergence rates of empirical Bayes posterior distributions for nonparametric and high-dimensional inference. We show that as long as the hyperparameter set is discrete, the empirical Bayes posterior distribution induced by the maximum marginal likelihood estimator can be regarded as a variational approximation to a hierarchical Bayes posterior distribution. This connection between empirical Bayes and variational Bayes allows us to leverage the recent results in the variational Bayes literature, and directly obtains the convergence rates of empirical Bayes posterior distributions…

扩散系数经验贝叶斯漂移估计的自适应后验收缩率

Adaptive posterior contraction rates for empirical Bayesian drift estimation of a diffusion

由于高斯过程先验的共轭后验，它在估计具有连续时间观测值的随机微分方程的漂移方面具有很大的吸引力。然而，它们的性能在很大程度上取决于超参数的选择。我们采用边际最大似然估计的缩放和/或平滑参数（S）的先验，并显示相应的后验具有最佳的收敛速度。一般定理并不直接适用于这个模型，因为通常的检验函数是关于随机的Hellinger型度量的。我们允许连续和离散，一维和二维的超参数集，其中优化的二维集的平滑度和缩放超参数被证明是有益的自适应范围。

马尔可夫决策过程中后验分布的收敛速度

Convergence Rates of Posterior Distributions in Markov Decision Process

在本文中，我们显示的收敛速度的后验分布的模型动力学在MDP的情节和连续的任务。理论结果适用于一般的状态和动作空间，动力学的参数空间可以是无穷维的。此外，我们还证明了在固定策略或最优策略下，平均累积报酬的后验分布和后悔界的收敛速度。提出了一种改进的Thompson采样算法，它既能提供动力学的后验收敛速度，又能提供后悔型界。然后将已有的结果推广到马尔可夫对策。最后，我们展示了三种模拟场景的数值结果，并进行了讨论。

非线性隐变量模型的后验收敛速度

Posterior convergence rates in non-linear latent variable models

非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。

General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications

Although Bayesian inference is an immensely popular paradigm among a large segment of scientists including statisticians, most applications consider objective priors and need critical investigations (Efron, 2013, Science). While it has several optimal properties, a major drawback of Bayesian inference is the lack of robustness against data contamination and model misspecification, which becomes pernicious in the use of objective priors. This paper presents the general formulation of a Bayes pseudo-posterior distribution yielding robust inference. Exponential convergence results related to the …

$α$ -稳定片的后向会聚分析

Posterior Convergence Analysis of $α$-Stable Sheets

本文讨论了$α$ -稳定片$U$在$\mathbb{R}^d$上的理论认识.我们这样做的动机是在贝叶斯逆问题的背景下，我们认为这些过程作为先验分布，旨在量化后验信息。我们得到的收敛结果指的是无限维随机变量的有限维近似。在这样做时，我们使用了一些变量，这些表可以采取，如随机整表示，但也随机系列扩展通过泊松过程。我们的证明将依赖于$U$是否可以省略$L^p$ -样本路径的事实。为了帮助有限近似的收敛，我们提供了一个自然的离散化来表示先验。除了收敛这些稳定的床单，我们解决是否同时适定性和良好的明确性的反问题可以实现。

潜伏或随机区组模型中群体后验分布的收敛性

Convergence of the groups posterior distribution in latent or stochastic block models

我们提出了一个统一的框架来研究潜在的和随机的块模型，这是用来同时聚类的数据矩阵的行和列。在这个新的框架中，我们研究的行为的群体后验分布，给定的数据。我们的特点是是否有可能渐近恢复矩阵的行和列上的实际组，依赖于参数的相合估计。换句话说，我们建立了充分条件的群体后验分布收敛（随着数据的大小增加）的狄拉克质量位于实际（随机）群体配置。特别是，我们强调了一些情况下，该模型假设的对称性矩阵的连接概率，防止恢复原始组。我们还讨论了这些结果的有效性时，在数据矩阵中的非空元素的比例收敛到零。

高斯和一般随机过程回归在可能误差下的后验收敛性

Posterior Convergence of Gaussian and General Stochastic Process Regression Under Possible Misspecifications

本文研究了非参数回归模型的后验收敛性，其中未知的回归函数由适当的随机过程建模。在这方面，我们考虑两个设置。第一种设置是基于高斯过程，其中协变量是随机的或非随机的，噪声可以是正态分布或双指数分布。在第二种设置中，我们假设基本的回归函数是由一些合理光滑的，但未指定的随机过程满足合理的条件。噪声的分布也未指定，但假设是厚尾的。在以前的研究中，关于同样的问题，我们不假设真理在于假设的参数空间，从而明确允许的可能性误指定。我们利用Shalizi（2009）的一般结果，不仅建立了后验一致性，而且建立了后验概率收敛的速率，即Kullback-Leibler发散速率。我们还研究了更熟悉的后验收敛速度。有趣的是，我们表明，后验预测分布可以准确地近似最好的可能的预测分布的意义上说，Hellinger距离，以及两个分布之间的全变差距离可以趋于零，尽管误指定。

Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism

Statistical inference can be seen as information processing involving input information and output information that updates belief about some unknown parameters. We consider the Bayesian framework for making inferences about dynamical systems from ergodic observations, where the Bayesian procedure is based on the Gibbs posterior inference, a decision process generalization of standard Bayesian inference where the likelihood is replaced by the exponential of a loss function. In the case of direct observation and almost-additive loss functions, we prove an exponential convergence of the a poster…

Convergence Rates for Bayesian Estimation and Testing in Monotone Regression

Shape restrictions such as monotonicity on functions often arise naturally in statistical modeling. We consider a Bayesian approach to the problem of estimation of a monotone regression function and testing for monotonicity. We construct a prior distribution using piecewise constant functions. For estimation, a prior imposing monotonicity of the heights of these steps is sensible, but the resulting posterior is harder to analyze theoretically. We consider a ``projection-posterior'' approach, where a conjugate normal prior is used, but the monotonicity constraint is imposed on posterior samples…

低内在维度数据上的自适应贝叶斯回归

Adaptive Bayesian Regression on Data with Low Intrinsic Dimensionality

本文研究高斯过程先验下后验收缩速率对预测变量内在维度与回归函数平滑性的依赖，证明通用GP先验可对广泛低维结构实现自适应速率，并基于核亲和力与k近邻提出经验贝叶斯带宽先验，数值实验验证了方法的有效性。

Gibbs后验收敛与热力学形式

Gibbs posterior convergence and the thermodynamic formalism

在本文中，我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验，标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括（隐藏）马尔可夫链模型，包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时，Gibbs后验分布在参数空间上的渐近行为。特别是，我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统，我们表明，吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下，我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系，这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。

A Diffusion Process Perspective on Posterior Contraction Rates for Parameters

We analyze the posterior contraction rates of parameters in Bayesian models via the Langevin diffusion process, in particular by controlling moments of the stochastic process and taking limits. Analogous to the non-asymptotic analysis of statistical M-estimators and stochastic optimization algorithms, our contraction rates depend on the structure of the population log-likelihood function, and stochastic perturbation bounds between the population and sample log-likelihood functions. Convergence rates are determined by a non-linear equation that relates the population-level structure to stochast…

高斯过程先验下后验概率的下界

Lower bounds for posterior rates with Gaussian process priors

与高斯过程先验相关的后验分布收敛速率的上界由van der Vaart和van Zanten在[14]中获得，并用涉及高斯先验的再生核希尔伯特空间的浓度函数表示。在这里，得到了下界对应物。作为推论，我们得到了精确的收敛速率的后验高斯先验在各种设置。此外，我们将[14]中关于Riemann-Liouville先验的上界结果推广到一个连续的参数族。

Posterior concentration and fast convergence rates for generalized Bayesian learning

In this paper, we study the learning rate of generalized Bayes estimators in a general setting where the hypothesis class can be uncountable and have an irregular shape, the loss function can have heavy tails, and the optimal hypothesis may not be unique. We prove that under the multi-scale Bernstein's condition, the generalized posterior distribution concentrates around the set of optimal hypotheses and the generalized Bayes estimator can achieve fast learning rate. Our results are applied to show that the standard Bayesian linear regression is robust to heavy-tailed distributions.

贝叶斯回归模型的收敛性

On the Convergence of Bayesian Regression Models

本文考虑异方差非参数回归模型，当均值函数和方差函数均未知且需要用非参数方法估计时。我们得到了该模型的后验分布与不同的先验，包括样条和高斯过程先验的收敛速度。结果是基于一般的独立，非同分布的观测值的后验分布的收敛速度，并建立了随机协变量的情况下，和确定性协变量。我们还说明，结果可以实现所有水平的规律性，这意味着他们是自适应的。

Posterior asymptotics in Wasserstein metrics on the real line

In this paper, we use the class of Wasserstein metrics to study asymptotic properties of posterior distributions. Our first goal is to provide sufficient conditions for posterior consistency. In addition to the well-known Schwartz's Kullback--Leibler condition on the prior, the true distribution and most probability measures in the support of the prior are required to possess moments up to an order which is determined by the order of the Wasserstein metric. We further investigate convergence rates of the posterior distributions for which we need stronger moment conditions. The required tail co…

间接高斯数列空间模型中的自适应贝叶斯估计

Adaptive Bayesian estimation in indirect Gaussian sequence space models

在一个间接的高斯数列空间模型的下限和上界推导出的浓度率的后验分布的参数的兴趣收缩的参数值$θ^\circ$，生成的数据。虽然这建立了后验一致性，但是，集中率取决于$θ^\circ$和进入先验分布的调谐参数。我们首先提供了一个优化参数的oracle最优选择，即，分别针对每个$θ^\circ$进行优化。先验分布的最优选择使我们能够推导出相关后验分布的预言最优集中率。此外，对于一个给定的类的参数和一个合适的选择的调谐参数，我们表明，由此产生的均匀浓度率在给定的类是最优的极大极小意义。最后，我们构造了一个分层的先验，是自适应的。这意味着，分别给定一个参数$θ^\circ$或一类参数，后验分布在该类上以预言率或极大极小率收缩。值得注意的是，分层先验既不依赖于$θ^\circ$，也不依赖于给定的类。此外，完全数据驱动的贝叶斯估计的收敛性在预言或在极大极小率。

用图模型估计大精度矩阵的后验收敛速度

Posterior convergence rates for estimating large precision matrices using graphical models

当$p$可能远大于可用样本量$n$时，我们考虑$p\times p$精度矩阵的贝叶斯估计。众所周知，在这种超高维情况下的一致估计需要正则化，例如条带化、锥形化或阈值化。我们在模型中考虑带状结构，并通过高斯图模型在带状精度矩阵上引入先验分布，其中只有当两个顶点在给定距离内时才存在边。在适当选择图的阶数的情况下，得到了在一类精度矩阵上基于图模型的后验分布和Bayes估计在$L_{\infty}$ -算子范数下的一致收敛速度，即使真精度矩阵可能不具有带状结构.在证明的过程中，我们还计算了极大似然估计（MLE）在相同条件下的收敛速度，这是独立的兴趣。基于图模型的极大似然估计和贝叶斯估计是自动正定的，这是文献中其他估计所不具备的一个理想性质。我们还进行了模拟研究，以比较有限样本的贝叶斯估计和极大似然估计的性能的基础上的图形模型，通过使用Cholesky分解的精度矩阵。最后讨论了利用边缘似然函数选择图模型阶数的实用方法。

Equivalence of Convergence Rates of Posterior Distributions and Bayes Estimators for Functions and Nonparametric Functionals

We study the posterior contraction rates of a Bayesian method with Gaussian process priors in nonparametric regression and its plug-in property for differential operators. For a general class of kernels, we establish convergence rates of the posterior measure of the regression function and its derivatives, which are both minimax optimal up to a logarithmic factor for functions in certain classes. Our calculation shows that the rate-optimal estimation of the regression function and its derivatives share the same choice of hyperparameter, indicating that the Bayes procedure remarkably adapts to …

Γ-convergence of Onsager-Machlup functionals. Part I: With applications to maximum a posteriori estimation in Bayesian inverse problems

The Bayesian solution to a statistical inverse problem can be summarised by a mode of the posterior distribution, i.e. a MAP estimator. The MAP estimator essentially coincides with the (regularised) variational solution to the inverse problem, seen as minimisation of the Onsager-Machlup functional of the posterior measure. An open problem in the stability analysis of inverse problems is to establish a relationship between the convergence properties of solutions obtained by the variational approach and by the Bayesian approach. To address this problem, we propose a general convergence theory fo…

数据驱动的先验及其后验集中率

Data-driven priors and their posterior concentration rates

在高维问题中，选择一个先验分布，使得相应的后验具有理想的实际和理论属性可能是具有挑战性的。这就引出了一个问题：这些数据是否可以用来帮助选择一个好的先验？在本文中，我们开发了一个一般的策略，用于构建一个数据驱动或经验的先验和充分条件，相应的后验分布，以达到一定的集中率。其思想是先验应该对可能性大的参数值施加足够的质量。这种数据驱动的中心化的一个有趣的副产品是后验的渐近性质对先验形状不太敏感，这反过来又允许用户使用计算方便的形式的先验，同时保持所需的速率。基于经验先验的自适应和非自适应速率的一般结果，以及密度估计，非参数回归和高维结构化正态模型的插图。

大量协方差阵稀疏贝叶斯因子模型的后验收缩

Posterior contraction in sparse Bayesian factor models for massive covariance matrices

稀疏贝叶斯因子模型通常用于高维应用中的简约依赖建模和降维。我们提供了理论上的理解，这样的贝叶斯过程中推断高维协方差阵的维数可以大于样本量的后验收敛速度。在真实协方差阵的相关稀疏性假设下，我们证明了常用的点质量混合先验的因子载荷导致一致的估计算子范数，即使当$p\gg n$。我们的主要贡献之一是开发了一类新的连续收缩先验，并提供了对稀疏向量周围浓度的见解。使用这样的先验的因子载荷，我们得到类似的收敛速率获得点质量混合先验。为了获得收敛速度，我们构造检验函数，使用随机矩阵理论的见解分离高维协方差阵空间中的点;开发的工具可能是独立的兴趣。我们还推导出极大极小率，并表明贝叶斯后验收敛率与极大极小率一致，直到$\sqrt{\log n}$项。

条件密度的自适应贝叶斯估计

Adaptive Bayesian Estimation of Conditional Densities

我们考虑一个条件密度的非参数贝叶斯模型。该模型是一个有限的混合正态分布与协变量依赖的多项logit混合概率。在正整数上指定混合组分数的先验。未对协变量的边缘分布建模。研究了该模型后验概率的渐近频率论行为。具体来说，我们表明，当真正的条件密度有一定的平滑度，然后后收缩率周围的真理是等于一个对数因子的频率最小最大估计率。协变量空间是无界的情况下，也建立了一个扩展。由于我们的结果在没有真密度的平滑水平的先验知识的情况下成立，因此所建立的后验收缩率是自适应的。此外，我们表明，在模型中包含不相关的协变量的速度不受影响。在蒙特卡罗模拟中，该模型的一个版本与交叉验证的核条件密度估计相比是有利的。

多元密度估计的非参数位置-尺度混合模型的后验渐近性

Posterior asymptotics of nonparametric location-scale mixtures for multivariate density estimation

密度估计是贝叶斯非参数估计最成功的应用之一。特别是，Dirichlet过程混合的法线是密度估计的黄金标准，其渐近性质已被广泛研究，特别是在单变量的情况下。然而，实践者和目前的理论文献之间存在差距。到目前为止，后验渐近结果在多变量的情况下，仅适用于位置混合的高斯内核与独立的前共同的协方差阵，而在实践中，以及从概念的角度来看，位置-尺度混合往往是可取的。在本文中，我们解决后验一致性，这样的一般混合模型，通过适应收敛速度的结果，结合了通常的低熵，高质量的筛选方法与适当的可求和条件。具体来说，我们建立一致性的Dirichlet过程混合高斯内核与各种事先规格的协方差阵。后收敛速度也进行了讨论。

Posterior Representations for Bayesian Context Trees: Sampling, Estimation and Convergence

We revisit the Bayesian Context Trees (BCT) modelling framework for discrete time series, which was recently found to be very effective in numerous tasks including model selection, estimation and prediction. A novel representation of the induced posterior distribution on model space is derived in terms of a simple branching process, and several consequences of this are explored in theory and in practice. First, it is shown that the branching process representation leads to a simple variable-dimensional Monte Carlo sampler for the joint posterior distribution on models and parameters, which can…

Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates

Use of continuous shrinkage priors -- with a "spike" near zero and heavy-tails towards infinity -- is an increasingly popular approach to induce sparsity in parameter estimates. When the parameters are only weakly identified by the likelihood, however, the posterior may end up with tails as heavy as the prior, jeopardizing robustness of inference. A natural solution is to "shrink the shoulders" of a shrinkage prior by lightening up its tails beyond a reasonable parameter range, yielding a regularized version of the prior. We develop a regularization approach which, unlike previous proposals, p…

在大规模数据中使用自适应后验FDR控制的鲁棒贝叶斯建模

Robust Bayesian Modeling with Adaptive Posterior FDR Control for Large-Scale Data

本文提出了一种基于厚尾建模的鲁棒贝叶斯方法，用于大规模数据中的FDR控制，并通过后验预测p值检测异常值，同时提出自适应方法确定后验FDR水平，通过结直肠癌基因表达数据验证方法有效性。

一种具有自适应后验收缩性质的贝叶斯稀疏因子模型

A Bayesian sparse factor model with adaptive posterior concentration

本文提出一种新的高维稀疏因子模型贝叶斯推断方法，通过引入稀疏水平与因子维数之间的依赖关系，在保持计算可处理性的同时实现自适应后验收缩，并证明其在因子维数检测和协方差矩阵估计上具有最优或近似最优的理论性质与数值优势。

贝叶斯数据同化计算方法的后验收缩率

Posterior contraction rates of computational methods for Bayesian data assimilation

该研究分析离散化下贝叶斯数据同化问题的后验一致性，证明两类离散化下离散后验的收敛速率，提出用定制离散先验实现有限元离散化的最优收敛速率。

Adaptive Path Sampling in Metastable Posterior Distributions

The normalizing constant plays an important role in Bayesian computation, and there is a large literature on methods for computing or approximating normalizing constants that cannot be evaluated in closed form. When the normalizing constant varies by orders of magnitude, methods based on importance sampling can require many rounds of tuning. We present an improved approach using adaptive path sampling, iteratively reducing gaps between the base and target. Using this adaptive strategy, we develop two metastable sampling schemes. They are automated in Stan and require little tuning. For a multi…

基于稀疏Cholesky因子的高维DAG模型的Minimax后验收敛速度和模型选择一致性

Minimax Posterior Convergence Rates and Model Selection Consistency in High-dimensional DAG Models based on Sparse Cholesky Factors

本文研究了经验稀疏Cholesky先验下的高维稀疏有向无环图模型。其中，强模型选择一致性或图选择一致性是在比现有文献更一般的条件下得到的。与Cao，Khare和Ghosh（2017）相比，所需条件在Cholesky因子中非零元素的维数，稀疏性和下界方面有所减弱。此外，我们的结果不需要不可表示的条件，这是必要的Lasso类型的方法。我们还得到了精度矩阵和Cholesky因子关于各种矩阵范数的后验收敛速度。所得的后验收敛速度是现有贝叶斯方法中最快的。特别是，我们证明了我们的后验收敛速度的Cholesky因素是极大极小或至少接近极大极小取决于真正的稀疏的相对大小为整个尺寸。仿真研究表明，该方法优于竞争的方法。

反问题Gibbs后验的自适应粒子近似

Adaptive particle-based approximations of the Gibbs posterior for inverse problems

在这项工作中，我们采用了一个通用的框架的基础上吉布斯后更新信念分布的偏微分方程（PDE）的反问题。吉布斯后验公式是标准贝叶斯推断的推广，其仅依赖于将未知参数连接到数据的损失函数。当真实数据生成机制（或噪声分布）未知或难以指定时，它特别有用。吉布斯后验符合贝叶斯更新时，一个真正的似然函数是已知的，损失函数对应于负对数似然，但在更一般的设置提供主观推断。我们采用序贯蒙特卡罗（SMC）的方法来近似吉布斯后验粒子。为了管理通过损失函数传播越来越多的粒子的计算成本，我们采用了最近开发的局部缩减基方法来构建一个有效的替代损失函数，该函数用于吉布斯更新公式中代替真实损失。我们推导出我们的近似误差界，并提出了一种自适应的方法来构建代理模型，在一个有效的方式。我们证明了我们的方法的效率，通过几个数值例子。

Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems

This work is concerned with the convergence of Gaussian process regression. A particular focus is on hierarchical Gaussian process regression, where hyper-parameters appearing in the mean and covariance structure of the Gaussian process emulator are a-priori unknown, and are learnt from the data, along with the posterior mean and covariance. We work in the framework of empirical Bayes, where a point estimate of the hyper-parameters is computed, using the data, and then used within the standard Gaussian process prior to posterior update. We provide a convergence analysis that (i) holds for any …

亚椭圆算子贝叶斯反演的后验相合性和收敛速度

Posterior consistency and convergence rates for Bayesian inversion with hypoelliptic operators

研究了正向映射为线性亚椭圆伪微分算子，测量误差为加性高斯白噪声时反问题的贝叶斯方法。未知高斯随机变量$U(x,ω)$的测量模型是\begin{eqnarray*} M(y,ω) = A(U(x,ω) )+ δ\hspace{.2mm}\mathcal{E}(y,ω), \end{eqnarray*}，其中$A$是多次平滑线性次椭圆算子，$δ>0$是噪声幅度。$U$的协方差算子$C_U$是$2r$次光滑、自伴、单射和椭圆型伪微分算子。如果$\mathcal{E}$在$L^2$中取值，则在高斯情况下，求解条件均值（和最大后验概率）估计与求解最小化问题\begin{eqnarray*} T_δ(M) = \text{argmin}_{u\in H^r} \big\{\|A u-m\|_{L^2}^2+ δ^2\|C_U^{-1/2}u\|_{L^2}^2 \big\}. \end{eqnarray*}相关。然而，高斯白噪声不在$L^2$中取值，而是在$s>0$足够大的$H^{-s}$中取值。上述方法的修改，以解决逆问题，覆盖的情况下，高斯白测量噪声。此外，在适当的函数空间中，利用微局部分析证明了条件均值估计作为$δ\rightarrow 0$收敛于正确解。研究了置信域的收缩问题。

Lévy自适应B样条回归在Besov空间中的后验收缩

Posterior Contraction of Lévy Adaptive B-spline Regression in Besov Spaces

本文研究了Lévy自适应B样条回归模型在Besov空间中的后验收缩性质，证明了该模型在非参数回归框架中能够以接近最优的速率收敛到真实函数，同时自动适应未知的光滑度。

Geometric convergence of elliptical slice sampling

For Bayesian learning, given likelihood function and Gaussian prior, the elliptical slice sampler, introduced by Murray, Adams and MacKay 2010, provides a tool for the construction of a Markov chain for approximate sampling of the underlying posterior distribution. Besides of its wide applicability and simplicity its main feature is that no tuning is necessary. Under weak regularity assumptions on the posterior density we show that the corresponding Markov chain is geometrically ergodic and therefore yield qualitative convergence guarantees. We illustrate our result for Gaussian posteriors as …

Adaptive Synaptic Failure Enables Sampling from Posterior Predictive Distributions in the Brain

Bayesian interpretations of neural processing require that biological mechanisms represent and operate upon probability distributions in accordance with Bayes' theorem. Many have speculated that synaptic failure constitutes a mechanism of variational, i.e., approximate, Bayesian inference in the brain. Whereas models have previously used synaptic failure to sample over uncertainty in model parameters, we demonstrate that by adapting transmission probabilities to learned network weights, synaptic failure can sample not only over model uncertainty, but complete posterior predictive distributions…

基于非参数分布匹配的免似然自适应贝叶斯推断

Likelihood-Free Adaptive Bayesian Inference via Nonparametric Distribution Matching

本文提出自适应贝叶斯推断（ABI）框架，通过边缘增广切片Wasserstein距离将后验分布比较转化为一维条件分位数回归，并结合自适应拒绝采样迭代细化后验近似，在高维和相依观测场景下显著优于现有免似然方法。

需要多少后验样本？自适应感知的校准停止

How Many Posterior Samples? Calibrated Stopping for Adaptive Sensing

针对自适应感知中的停止问题，本文校准固定样本和序贯规则以控制错误声明概率，并证明截断可节省高达62%的后验样本，序贯停止在匹配工作点下成本最低。

转换后验概率的自适应稳健下限中的P值以增加可重复的科学“发现”

Converting P-Values in Adaptive Robust Lower Bounds of Posterior Probabilities to increase the reproducible Scientific "Findings"

我们提出了一种新的校准p值，“自适应鲁棒下限”（ARLB）的映射p值到近似的后验概率考虑到样本量的影响。我们建立在Sellke，Bayarri和Berger（2001）提出的鲁棒下限的基础上，但我们加入了一个简单的样本量的幂，使其适应不同的数据量。我们提出了几个插图，从那里很明显，ARLB接近确切的贝叶斯因子。特别地，它具有与后验概率相同的渐近性，但避免了小样本下相对于参数数目的“贝叶斯信息准则”（BIC）的问题。我们证明，ARLB是一致的样本量增长，它是信息一致的（伯杰和Pericchi，2001年）的典型正常的情况下，但与方法，热衷于被推广。因此，ARLB也避免了某些共轭先验作为g-先验的问题。总之，这是一个易于应用的新标准，因为它只需要一个真实的p值，一个样本量和参数维度。这种方法的目的是帮助从业者，谁是越来越意识到缺乏可重复性的传统假设检验“发现”，但在同一时间，缺乏具体的简单的替代品。这里有一个。