A Note on Bayesian Nonparametric Inference for Spherically Symmetric Distribution
在本文中,我们描述了一个贝叶斯非参数方法进行推断的二元球对称分布。我们考虑所有二元球对称分布集合上的狄利克雷不变过程先验,并推导出狄利克雷不变过程后验。实际上,我们的方法是一个扩展的Dirichlet不变过程的对称分布的实数线上的一个二元球对称分布,其中的基础分布是不变的有限群的旋转。此外,我们还得到了无限变换群的Dirichlet不变过程后验,并证明了它逼近Dirichlet过程。
2018-07-31 math.ST stat.TH
On convergence rates of Bayesian predictive densities and posterior distributions
贝叶斯后验分布的频率型大样本性质,如一致性和收敛速度,在非参数问题中是重要的考虑因素。在本文中,我们给出了贝叶斯渐近分析的基础上,主要是预测密度。我们的分析是统一的,在这个意义上,基本上可以采取相同的方法来开发收敛速度的结果在iid,错误指定的iid,独立的非iid,和依赖的数据情况。
2012-09-29 math.ST stat.TH
A note on a Bayesian nonparametric estimator of the discovery probability
Favaro、Lijoi和Pruenster(2012,Biometrics,68,1188- 1196)推导了一种新的贝叶斯非参数估计,该估计是在$(n+m+1)$次观察时检测到一个物种的概率,该物种已经在$n+m$大小的扩大样本中以任何给定频率观察到,条件是大小为$n$的基本样本。不幸的是,吉布斯先验下的一般结果(定理2),以及因此在$(α, θ)$泊松-狄利克雷先验下的显式结果(命题3),似乎是错误的。在这里,我们提供了两个结果的正确公式,通过Cerquetti(2013)设计的新技术获得。我们验证了我们的推导的正确性,明确的反证的两个参数Poisson-Dirichlet的情况。
2013-04-03 math.ST stat.TH
On posterior distribution of Bayesian wavelet thresholding
我们调查后收敛速率小波收缩使用贝叶斯方法在一般Besov空间。而不是研究与特定损失函数相关的贝叶斯估计,我们专注于后验分布本身从非参数贝叶斯渐近的角度来看,并研究其收敛速率。我们得到相同的速度在\citet{abramovich04},其中作者研究了几个贝叶斯估计的收敛性。
2007-09-21 math.ST stat.TH
Posterior Convergence and Model Estimation in Bayesian Change-point Problems
研究了变点个数和位置未知时贝叶斯多变点回归问题的后验分布。虽然它是相对容易应用的一般理论,以获得$O(1/\sqrt{n})$率到一些对数因子,显示精确的参数收敛速率的后验分布需要额外的工作和假设。此外,我们证明了在这些假设下的段水平的渐近正态性。对于变点数量的推断,我们表明贝叶斯方法可以产生一致的后验估计。最后,我们认为,逐点后验收敛性能证明可能有坏的有限样本性能,一致的后验模型选择必然意味着最大平方风险将渐近大于最佳$O(1/\sqrt{n})$率。这是其他作者已经注意到并研究过的同一现象的贝叶斯版本。
2008-08-20 math.ST stat.TH
On the Convergence of Bayesian Regression Models
本文考虑异方差非参数回归模型,当均值函数和方差函数均未知且需要用非参数方法估计时。我们得到了该模型的后验分布与不同的先验,包括样条和高斯过程先验的收敛速度。结果是基于一般的独立,非同分布的观测值的后验分布的收敛速度,并建立了随机协变量的情况下,和确定性协变量。我们还说明,结果可以实现所有水平的规律性,这意味着他们是自适应的。
2010-10-06 math.ST stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的,而与向量自回归的阶数和维数无关,并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言,几何收敛速度被证明是有界的渐近远离团结,几乎肯定或概率趋于一,这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
A note on the Karhunen-Loève expansions for infinite-dimensional Bayesian inverse problems
Shanghai Jiao Tong University(上海交通大学)
本文探讨了截断卡尔文-洛埃夫展开在无限维逆问题中的应用,证明在特定条件下,误差界可无需解知即可估计。
2014-12-30 cs.NA math.NA math.ST
Bayesian Nonparametric Inference in Elliptic PDEs: Convergence Rates and Implementation
本文针对椭圆PDE中的扩散系数推断问题,提出基于高斯级数先验的贝叶斯非参数方法,推导后验一致性与收敛速率,并通过数值模拟验证理论。
2025-04-23 math.ST stat.TH
Convergence analysis of data augmentation algorithms in Bayesian lasso models with log-concave likelihoods
School of Statistics University of Minnesota(明尼苏达大学统计学院)
本文研究了贝叶斯拉索模型中数据增强算法的收敛性,推导了通用收敛界并应用于三种具体模型,给出了不同模型的混合时间复杂度。
2025-12-23 math.ST stat.TH
Convergence complexity analysis of Albert and Chib's algorithm for Bayesian probit regression
MCMC算法在高维贝叶斯问题中的应用已成为常规。这激发了所谓的收敛复杂性分析,其目标是确定蒙特卡罗马尔可夫链的收敛速度如何与样本量$n$和/或协变量数$p$成比例。本文对Albert和Chib(1993)的贝叶斯概率回归模型的数据增强算法进行了全面的收敛复杂性分析。在这种分析中使用的主要工具是漂移和优化条件。通常的陷阱与这种类型的分析是避免利用中心漂移函数,这是最小化在高后验概率区域,并通过使用一种新的技术来抑制高维的构造的最小化条件。主要结果是,基本马尔可夫链的几何收敛速度是有界的1以下的$n \rightarrow \infty$(与$p$固定),和$p \rightarrow \infty$(与$n$固定)。此外,全变差到平稳性的距离的第一可计算界限是渐近分析的副产品。
2018-04-23 math.ST stat.TH
Bayes meet Riemann- Bayesian Characterization of Infinite Series with Application to Riemann Hypothesis
在无穷级数的经典文献中,有各种测试来确定给定的无穷级数是否收敛、发散或振荡。但不幸的是,对于许多无穷级数,所有现有的检验都不能提供确定的答案。在这篇文章中,我们提出了一个新的贝叶斯理论的任何给定的无穷级数的收敛性评估。值得注意的是,这一理论试图提供结论性的答案收敛的问题,即使所有现有的收敛测试失败。我们将我们的想法应用于七个不同的例子,获得了非常令人鼓舞的结果。更重要的是,我们也应用我们的想法来研究黎曼假设,并得到不完全支持该猜想的结果。我们还扩展了我们的想法,发展贝叶斯理论的振荡系列,我们甚至允许无限数量的极限点。利用贝叶斯多极限点理论分析黎曼假设,得到了与贝叶斯收敛性评价理论几乎相同的结果。
2018-04-12 math.ST stat.TH
A Short Note on the Efficiency of Markov Chains for Bayesian Linear Regression Models with Heavy-Tailed Errors
本文证明了在重尾误差和条件共轭正态-逆Wishart先验下,Backlund和Hobert(2020)的采样器仍保持一致的几何遍历性,并进一步在更温和条件下证明了Roy和Hobert(2010)采样器在非正常先验情形下的几何遍历性。
2024-10-28 math.ST stat.CO stat.TH
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣,收敛复杂性分析是研究蒙特卡罗马尔可夫链(对于难以处理的贝叶斯后验分布)的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题,而且很少有成功的分析。秦和霍伯特(2021 b)最近提出了一个富有成效的分析,他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明,在规则性条件下,随着数据集大小的增加,该吉布斯采样器的几何收敛速度收敛到零。本文表明,吉布斯采样器表现出类似的行为,更一般的贝叶斯模型,具有随机效应和传统的连续协变量,所谓的混合模型。该分析采用了Qin和Hobert(2021 b)介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Bayesian MISE convergence rates of Polya urn based density estimators: asymptotic comparisons and choice of prior parameters
混合模型以其通用性而闻名,贝叶斯范式是混合分析的合适平台,特别是当组分数量未知时。Bhattacharya(2008)介绍了一种基于狄利克雷过程的混合模型,其中需要指定组分的未知数的上界。在这里,我们考虑一个贝叶斯渐近框架,客观地指定的上界,我们假设依赖于样本量。特别是,我们定义了一个贝叶斯模拟的平均积分平方误差(贝叶斯MISE),并选择该形式的上界,以及该形式的精度参数的基础狄利克雷过程,贝叶斯MISE的一个特定的密度估计,这是一个合适的修改的Polya-urn基于先验预测模型,收敛在所需的速率。作为我们方法的副产品,我们研究了传统Dirichlet过程混合模型精度参数的渐近选择;我们在这里考虑的密度估计是Escobar & West(1995)与Polya瓮模型相关的先验预测分布的修改。与上述两种混合物有关的各种渐近问题,包括比较性能,也进行了研究。
2018-11-13 math.ST stat.TH
The Rate of Convergence for Approximate Bayesian Computation
近似贝叶斯计算(ABC)是一种流行的无似然贝叶斯推理计算方法。术语“无似然性”是指这样的问题,其中似然性难以直接计算或估计,但是在给定从先验分布模拟的候选参数集$θ$的情况下,可以相对容易地生成模拟数据$X$。在观测数据$x^*$的某个公差$δ$内生成模拟数据的参数被认为是合理的,并且这样的$θ$的集合用于估计后验分布$θ\,|\,X\!=\!x^*$。适当选择$δ$对于ABC方法在合理的计算时间内返回到$θ$的良好近似是至关重要的。虽然ABC方法在实践中被广泛使用,特别是在群体遗传学中,但对ABC估计量的数学性质的研究仍处于起步阶段。我们证明了ABC估计在非常弱的假设下收敛于精确解,并且在稍强的假设下,量化了这种收敛的速度。研究结果可用于指导公差参数$δ$的选择。
2014-07-18 math.ST stat.TH
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中,我们考虑马尔可夫链蒙特卡罗(MCMC)算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是,我们构造的两块吉布斯采样器使用的数据增强(DA)技术。此外,我们证明了Gibbs抽样的几何遍历性,这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时,我们也提供了后适当的条件。一般而言,用于DA的Haar参数展开(PX- DA)算法是DA算法的改进,并且已经表明,它在理论上至少与DA算法一样好。在这里,我们构建了一个Haar PX DA算法,它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Adaptive Posterior Convergence Rates in Bayesian Density Deconvolution with Supersmooth Errors
使用非参数先验分布的贝叶斯密度反卷积是基于频率核的反卷积估计的有用替代方案,这是由于其潜在的广泛适用性、直接的不确定性量化和对更复杂模型的可推广性。这篇文章是第一个实质性的努力,从理论上量化的行为,在最近的研究路线。特别地,假设已知的超光滑误差密度,在真密度上的法线的狄利克雷过程混合导致与在适当的密度的霍德尔空间的光滑度$η$上自适应的极小极大速率$(\log n)^{-η/β}$相同的后验收敛速度,其中$β$是误差分布的光滑度。我们的主要贡献是实现自适应极小极大率相对于$L_p$规范$2 \leq p \leq \infty$在温和的正则性条件下的真密度。途中,我们开发了严格的浓度范围的一类核为基础的反卷积估计,这可能是独立的利益。
2013-09-09 math.ST stat.TH
On Bayesian Estimation via Divergences
在本说明中,我们介绍了一种新的方法,贝叶斯推理通过使用$ϕ$ -分歧和对偶技术。建立了估计的渐近律。
2011-12-26 math.ST stat.ME stat.TH
On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析,这是研究马尔可夫链蒙特卡罗(MCMC)算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的,部分原因是固定的$n$和$p$的现有结果根本不够尖锐,不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal(2019)提出的,他们为Rosenthal(1996)引入和研究的Gibbs采样器(用于简单的贝叶斯随机效应模型)建立了混合时间结果。然而,这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术(秦等。例如,2019)以提供实质性的数值证据,即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果,两个不同的吉布斯采样器与Rosenthal(1996)考虑的随机效应模型的推广。我们的结果表明,在强正则性条件下,这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
Convergence Rates for Bayesian Estimation and Testing in Monotone Regression
形状限制,如函数的单调性,通常在统计建模中自然出现。我们考虑一个贝叶斯方法的问题估计的单调回归函数和测试的单调性。我们使用分段常数函数构造一个先验分布。对于估计,这些步骤的高度的先验施加单调性是合理的,但由此产生的后验更难从理论上分析。我们考虑一个"投影后验"的方法,其中使用共轭正常的前,但单调性约束施加在后验样本的单调函数的空间上的投影映射。我们表明,由此产生的后合同在$L_1$度量下的最佳速率$n^{-1/3}$和在经验$L_p$度量下的接近最佳速率$0<p\le 2$。投影后验方法在计算上也更方便。我们还构造了一个贝叶斯检验的假设,单调性使用后验概率的收缩邻域的一组单调函数。我们表明,由此产生的测试具有普遍的一致性属性,并获得分离率,确保所产生的幂函数接近1。
2020-08-03 math.ST stat.TH
A note on Bayesian logistic regression for spatial exponential family Gibbs point processes
近年来,指数族Gibbs空间点过程的逻辑斯谛回归推理方法被提出.我们将它与二次切向变分逼近技术相结合,导出了一种新的贝叶斯空间点模式分析方法。该技术进行了详细描述,并证明了数值例子。
2014-11-03 stat.ME stat.OT
Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values
研究了缺失值指数族模型变分Bayes逼近的性质。证明了当样本量变大时,变分贝叶斯估计的迭代算法以概率1局部收敛于真值。证明了变分后验分布是渐近正态的。
2012-07-11 math.ST stat.CO stat.ME
A Note on the Bayesian Approach to Sliding Window Detector Development
最近,贝叶斯方法已被引入,使滑动窗口检测器的建设与恒定的虚警率属性。该方法引入了贝叶斯预测推理的方法,在没有目标的假设下,在测试下的细胞的预测密度,条件下的杂波距离剖面,产生。虚警的概率可以通过对该密度进行积分来产生。由此,对于给定的杂波模型,产生了贝叶斯恒虚警率检测器。本文概述了如何扩展这种方法,允许替代贝叶斯决策规则的建设,更有用的措施的基础上的杂波水平。
2018-12-23 stat.AP
Γ-convergence of Onsager-Machlup functionals. Part I: With applications to maximum a posteriori estimation in Bayesian inverse problems
统计逆问题的贝叶斯解可以用后验分布的一种模式来概括,即MAP估计量。MAP估计基本上与逆问题的(正则化)变分解相一致,被视为后验测量的Onsager-Machlup泛函的最小化。反问题稳定性分析中的一个公开问题是建立由变分方法和贝叶斯方法获得的解的收敛性质之间的关系。为了解决这个问题,我们提出了一个通用的收敛理论的模式,是基于$Γ$收敛的Onsager-Machlup泛函,并将此理论应用到贝叶斯逆问题与高斯和边缘保持Besov先验。本文的第二部分考虑更一般的先验分布。
2021-11-29 cs.NA math.NA math.PR
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University(达尔豪斯大学);University of Science(理大学);Vietnam National University(越南国立大学);AISIA Research Lab(AISIA研究实验室);University of Delaware(特拉华大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了一般情形下广义Bayes估计的学习率,其中假设类可以是不可数的且形状不规则,损失函数可以有重尾,最优假设可能不唯一.证明了在多尺度Bernstein条件下,广义后验分布集中在最优假设集附近,广义Bayes估计具有较快的学习速度.我们的结果表明,标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归,其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的,并且是从数据中学习的,以及后验均值和协方差。我们在经验贝叶斯的框架下工作,其中使用数据计算超参数的点估计,然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析,(i)适用于任何要仿真的连续函数$f$;(ii)表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响,并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题,我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Bayesian model selection for linear regression
在这篇笔记中,我们介绍了线性回归与基函数,以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀,以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
A Note on Bayesian Inference for the Bivariate Pseudo-Exponential Data
本文研究了二元伪指数分布的贝叶斯推断,在独立Gamma和伪Gamma先验下推导后验均值并与最大似然估计量比较,最后通过模拟和实际应用验证了方法。
2023-06-26 stat.AP stat.ME
A Note on Bayesian Networks with Latent Root Variables
IDSIA(伊迪西亚研究所)
本文研究含潜在根变量的贝叶斯网络,提出经验贝叶斯网络概念,并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Wide stable neural networks: Sample regularity, functional convergence and Bayesian inverse problems
本文研究权重服从α-稳定分布的全连接随机神经网络在大宽度下的样本正则性与函数收敛,证明其无限宽度极限的样本函数属于分数阶Sobolev-Slobodeckij型拟Banach空间,并将该收敛结果应用于保边缘贝叶斯反问题的函数后验分析。
2025-03-11 math.PR math.ST stat.TH
A Note on Using Discretized Simulated Data to Estimate Implicit Likelihoods in Bayesian Analyses
本文提出了一种贝叶斯推理方法,其中模型的可能性是未知的,但数据可以很容易地从模型中模拟。我们离散化模拟(连续)数据,估计隐含的可能性在贝叶斯分析采用马尔可夫链蒙特卡罗算法。三个例子,以及一个小的研究方法的一些属性。
2020-08-07 stat.ME
A Note on Bayesian Modeling Specification of Censored Data in JAGS
Just Another吉布斯抽样(JAGS)是一个方便的工具,可以使用马尔可夫链蒙特卡罗来绘制贝叶斯建模的后验样本。然而,用于对删失数据建模的内置函数dinterval()错误地指定了偏差函数的计算,这可能限制其用于执行基于似然的模型比较。为了建立一个自动的方法来指定正确的偏差函数在JAGS,我们提出了一个简单的替代建模策略,实现贝叶斯模型选择分析删失的结果。所提出的方法适用于广泛的数据类型,其中包括生存数据和许多其他的右,左和区间删失贝叶斯模型结构。
2020-12-03 stat.AP stat.ME
Convergence Analysis of Data Augmentation Algorithms for Bayesian Robust Multivariate Linear Regression with Incomplete Data
高斯混合通常用于鲁棒线性回归中的重尾误差分布建模。将多变量鲁棒线性回归模型的似然与标准的不适当先验分布相结合,产生了一个分析上难以处理的后验分布,可以使用数据增强算法对其进行采样。当响应矩阵有缺失项时,算法的收敛性的应用和分析有独特的挑战。当不完全数据具有单调结构时,给出了几何遍历的条件。在单调结构的情况下,中间插补步骤是必要的,以实现该算法。在这种情况下,我们提供了充分条件的算法是哈里斯遍历。最后,我们表明,当有一个单调的结构和中间填补是不必要的,中间填补减慢了底层蒙特卡洛马尔可夫链的收敛,而事后填补没有。提供了用于数据增强算法的R软件包。
2023-01-04 math.ST stat.CO stat.TH
Bayesian finite mixtures: a note on prior specification and posterior computation
本文提出了一种计算有限混合物组分数k的后验分布的新方法。本文还研究了先验规范的两个方面:论证了使用Poisson(1)分布作为k的先验;给出了在混合正态模型中选择超参数值的方法,其中分量参数具有自然共轭先验。
2007-11-03 stat.CO stat.ME
A note on Bayesian R-squared for generalized additive mixed models
本文提出一种贝叶斯框架,将广义加性混合模型的后验预测方差分解为已解释与未解释部分,从而严格定义贝叶斯R²,并引入部分贝叶斯R²量化各模型项的贡献。
2024-10-17 stat.ME
Bayesian Optimization with Exponential Convergence
MIT(麻省理工学院)
本文提出了一种指数收敛的贝叶斯优化方法,它不需要辅助优化,也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化:一个额外的非凸全局优化问题,这可能是耗时的,很难在实践中实现。此外,现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样,这被认为是不切实际的。我们的方法消除了这两个要求,并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
A Short Note on Almost Sure Convergence of Bayes Factors in the General Set-Up
虽然有一个重要的文献贝叶斯因子的渐近理论,考虑的设置通常是专门的,往往涉及独立和同分布的数据。即使在这种特殊情况下,大多数弱一致性结果是可用的。本文首次给出了在含有偶相依数据和错误指定模型的一般情形下Bayes因子的几乎必然收敛定理。有些令人惊讶的是,证明这样一个一般理论的关键是将Shalizi(2009)的结果简单地应用于贝叶斯因子所满足的一个众所周知的恒等式。
2018-04-17 math.ST stat.ME stat.TH
Adaptive Convergence Rates of a Dirichlet Process Mixture of Multivariate Normals
结果表明,一个简单的Dirichlet过程混合的多元常态提供贝叶斯密度估计与自适应后收敛速度。为此,一种新的非参数混合密度的筛子进行了探索,并证明了其率适应性的各种光滑类的密度在任意维。这种筛的建设,预计将提供一个实质性的技术进步,在研究贝叶斯非参数混合模型的基础上,棒断裂先验。
2011-11-17 math.ST stat.ME stat.TH
Asymptotic Properties for Bayesian Neural Network in Besov Space
Seoul National University(首尔国立大学)
神经网络在处理图像和自然语言等各种非结构化数据时显示出强大的预测能力。贝叶斯神经网络通过为模型的参数设置先验分布并计算后验分布来捕获预测的不确定性。本文证明了当真实回归函数在Besov空间中时,采用尖峰-板先验的贝叶斯神经网络具有近似极小极大收敛速度的一致性。即使当回归函数的平滑度未知时,相同的后验收敛速率保持,并且因此尖峰和平板先验适应于回归函数的平滑度。我们还考虑了收缩先验,这是更可行的比其他先验,并表明它具有相同的收敛速度。换句话说,我们提出了一个实用的贝叶斯神经网络保证渐近性质。
2022-11-25 cs.LG math.ST stat.ML
Posterior Representations for Bayesian Context Trees: Sampling, Estimation and Convergence
我们重新审视贝叶斯上下文树(BCT)建模框架的离散时间序列,这是最近发现是非常有效的,在许多任务,包括模型选择,估计和预测。一种新的表示形式的诱导后验分布的模型空间中的一个简单的分支过程,并在理论和实践中探讨了一些后果。首先,它示出的分支过程表示导致一个简单的可变维的蒙特卡罗采样器的联合后验分布的模型和参数,它可以有效地产生独立的样本。这个采样器被发现是更有效的比以前的MCMC采样器相同的任务。然后,分支过程表示被用来建立BCT后验的渐近一致性,包括推导的几乎必然收敛速度。最后,对诱导贝叶斯熵估计的性能进行了广泛的研究。它的效用说明通过模拟实验和现实世界的应用程序,它被发现优于几个国家的最先进的方法。
2023-03-20 cs.IT math.IT math.ST
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式,在此形式下,精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用,我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题,制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism
统计推断可以看作是涉及输入信息和输出信息的信息处理过程,它更新了对某些未知参数的信念。我们认为贝叶斯框架的动力系统从遍历的观察,贝叶斯过程是基于吉布斯后验推理,一个决策过程推广的标准贝叶斯推理的可能性是由指数的损失函数。在直接观测和几乎可加损失函数的情形下,证明了后验测度在极限测度下的指数收敛性。我们对直接观测的贝叶斯后验收敛的估计是相关的,并推广了K。McGoff,S. Mukherjee和A.诺贝尔奖我们的方法利用非添加剂的热力学形式主义和大偏差属性,而不是连接。
2022-01-13 math.DS math.PR math.ST
Loss convergence in a causal Bayesian neural network of retail firm performance
我们通过将有向无环图实现为因果贝叶斯神经网络来扩展结构方程模型(SEM)的实证结果,该模型发表在《零售购买、零售商店运营和企业绩效的产品组合规划》一文中。神经网络的收敛性,以改善与最弱的SEM路径的节点的删除时,变分推断提供扰动权重与Flipout层,而结果从扰动权重在输出与Vadam优化器是不确定的。
2020-08-29 cs.LG stat.ML
A Convergence Diagnostic for Bayesian Clustering
在贝叶斯聚类的许多应用中,通过马尔可夫链蒙特卡罗(MCMC)技术实现聚类分配的离散状态空间上的后验采样。由于设计转换核来有效地探索此状态空间通常具有挑战性,因此用于聚类应用的MCMC收敛诊断尤其重要。对于一般的MCMC问题,最先进的收敛诊断涉及跨多个链的比较。然而,单链替代方案可能对计算密集型和缓慢混合的MCMC有吸引力,这是贝叶斯聚类的典型情况。因此,我们在这里提出了一个单链收敛诊断专门针对离散空间MCMC。也就是说,我们考虑一个Hotelling型统计量的最高概率状态,并使用再生抽样论推导出其平衡分布。通过利用来自非标准化后验的信息,我们的诊断可以防止看似收敛的链,其中访问状态的相对频率是不正确的。该方法说明了贝叶斯聚类分析的开花植物拟南芥的遗传突变体。
2019-06-12 stat.CO
Stochastic Convergence Rates and Applications of Adaptive Quadrature in Bayesian Inference
我们提供了第一个随机收敛速度的家庭自适应正交规则用于规范化的后验分布贝叶斯模型。我们的结果适用于一致的相对误差的近似后验密度,覆盖概率的近似可信集,近似的时刻和分位数,从而保证快速渐近收敛的近似汇总统计量在实践中使用。该系列的积分规则包括自适应高斯-厄米特积分,我们将这一规则在两个具有挑战性的低维的例子。此外,我们演示了如何自适应正交可以作为一个重要组成部分的现代近似贝叶斯推断过程的高维添加剂模型。该方法在R语言的aghq包中实现并公开提供,可在CRAN上获得。
2022-10-25 stat.ME
Nonlinear MCMC for Bayesian Machine Learning
我们探讨了在[1]中首次引入的非线性MCMC技术在贝叶斯机器学习问题中的应用。我们提供了一个收敛保证总变分,使用新的结果,长时间收敛和大粒子(“混沌传播”)收敛。我们应用这种非线性MCMC技术的采样问题,包括贝叶斯神经网络CIFAR10。
2022-11-24 cs.LG math.PR stat.ML
Response to: "A note on conditional densities, Bayes' rule, and recent criticisms of Bayesian inference" by Yan et al., 2026
Niels Bohr Institute, University of Copenhagen(哥本哈根大学尼尔斯·玻尔研究所);University of Edinburgh(爱丁堡大学)
本文回应Yan等人对条件密度和贝叶斯推断的批评,指出使用条件期望方法并不能解决物理不一致性,并指出对方存在数学错误。
2026-04-30 stat.ME
Posterior contraction rates of computational methods for Bayesian data assimilation
该研究分析离散化下贝叶斯数据同化问题的后验一致性,证明两类离散化下离散后验的收敛速率,提出用定制离散先验实现有限元离散化的最优收敛速率。
2025-06-17 cs.NA math.NA math.PR
Convergence Guarantees for Adaptive Bayesian Quadrature Methods
EURECOM(欧洲电信学院);University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自适应贝叶斯求积(ABQ)是一种强大的数值积分方法,在中等维度(非自适应求积不具有竞争力)的问题上,它与蒙特卡罗积分相比具有优势。它的关键成分是一个获取函数,该函数作为先前收集的被积函数值的函数而变化。虽然这种适应性在经验上似乎很强大,但它使分析复杂化。因此,到目前为止,这类方法还没有理论上的保证。在这项工作中,对于广泛的自适应贝叶斯求积方法,我们证明了一致性,推导出非紧但信息量大的收敛速度。为了做到这一点,我们引入了一个新的概念,我们称之为弱适应性。我们的研究结果确定了一个大的和灵活的自适应贝叶斯求积规则一致,从业者可以开发经验有效的方法。
2019-10-28 cs.LG cs.NA math.NA
The Behavior and Convergence of Local Bayesian Optimization
University of Pennsylvania(宾夕法尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
该研究针对高维场景下贝叶斯局部优化行为与收敛性不明的问题,分析了局部方法的特性,首次严格证明Müller等人2021年提出的算法在含噪和无噪设置下的收敛速率。
2024-03-08 cs.LG stat.ML
Research Note: Bayesian Record Linkage with Application to Chinese Immigrants in Raleigh-Durham (ChIRDU) Study
本文提出一种基于概率记录链接的方法,通过构建罗马化姓名成对比较向量和完全贝叶斯模型,将ChIRDU调查与InfoUSA记录匹配,以获取高分辨率地理信息并刻画华人移民的空间分布。
2023-10-21 stat.AP
Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology(东京工业大学)
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题,其中估计数据的张量结构。这种问题设置在许多实际应用中出现,例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析,在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外,我们表明,该方法具有自适应的真实张量的未知秩,也就是说,接近最优的速度取决于真实的秩,即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
A note on Bayesian wavelet-based estimation of scaling
在地质学、大气科学、经济学等领域中的许多现象都可以用分数布朗运动来建模,其指数为赫斯特指数$H$。该指数与信号中存在的规律性和自相似性的程度有关,并且它通常捕获在各种应用中有用的重要特征。鉴于其重要性,已经开发了一些方法来估计赫斯特指数。通常,所提出的方法不利用关于信号缩放的先验信息。已知一些信号具有Hurst指数的理论值,这促使我们提出了一种贝叶斯方法,该方法通过适当的引发先验分布$H$来结合这些信息。这显着提高了估计的准确性,我们通过模拟证明。此外,所提出的方法是鲁棒的先验位置的小错误。所提出的方法被应用到湍流时间序列的Hurst指数,理论上是已知的Kolmogorov的K41理论。
2016-05-04 stat.ME