A scalable quasi-Bayesian framework for Gaussian graphical models
本文研究了高维高斯图模型的贝叶斯估计。我们开发了Meinshausen和Buhlmann(2006)的邻域选择方法的准贝叶斯实现,用于估计高斯图模型。该方法产生的产品形式的准后验分布,可以有效地探索并行计算。我们推导出了拟后验分布的收缩率的非渐近界。结果表明,所提出的准后验分布以邻域选择中涉及的线性回归的最差收缩率的速率向真精度矩阵收缩.我们开发了一个用于近似计算的马尔可夫链蒙特卡罗算法,遵循Atchade(2015)的方法。我们说明了模拟研究的方法。结果表明,该方法可以拟合高斯图模型的规模与其他贝叶斯方法的图模型。
2015-12-25 math.ST stat.TH
PAC-Bayesian Bounds for Deep Gaussian Processes
变分逼近技术和机器学习中随机模型的推理在过去几年中得到了广泛的关注。特别是在高斯过程(GP)及其深度版本,深度高斯过程(DGP)的情况下,这些观点改进了最先进的工作。在本文中,我们介绍了可能近似正确(PAC)贝叶斯风险界的DGP利用变分近似。我们证明了PAC-Bayesian推广风险界的最小化使得属于特定DGP模型的变分下界最大化。我们推广的损失函数属性的对数似然损失函数的PAC-Bayesian风险界的二次形式高斯的情况下。给出了一致性结果,并给出了一个预言型不等式的见解,在原始模型(预测无变分近似)和我们的变分模型(预测的变分近似)之间的收敛性。此外,我们给出了我们的主要定理的特定假设和参数的情况下的扩展。此外,我们还通过实验展示了两个深度递归高斯过程(DRGP)建模时间序列的一致性结果的演变,即递归高斯过程(RGP)和具有变分稀疏谱近似的DRGP,即DRGP-(V)SS。
2019-09-22 math.ST stat.TH
Marginalized Bayesian filtering with Gaussian priors and posteriors
边缘化技术的贝叶斯滤波问题的假设下,高斯先验和后验和一组顺序更多的约束状态空间模型的假设。该技术提供了以下能力:1)将滤波问题简化为基本的边际矩积分,2)将模型和数值逼近结合到矩积分,以及3)解耦建模和系统组成。后验均值和协方差的封闭形式的表达式作为子空间投影矩阵,子系统模型,和边际矩积分的函数。最后,我们回顾以前的工作,以及如何将结果与卡尔曼和边缘化粒子滤波技术。
2016-07-11 math.ST stat.TH
Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures
我们考虑贝叶斯非参数密度估计使用Pitman-Yor或归一化逆高斯过程核混合作为密度的先验分布。该程序是从频率论的角度进行研究。使用棒打破皮特曼-约尔过程或表达的有限维分布的归一化逆高斯过程,我们证明了,当数据是从一个无限光滑的密度重复,后验分布集中在任何收缩$L^p$ -范数球,$1\leq p\leq\infty$,周围的采样密度在\emph{nearly parametric}率,对数因子。由此产生的分层贝叶斯过程,与一个固定的前,因此示出是自适应的采样密度的平滑度的无限。
2013-02-13 math.ST stat.TH
Frequentist and Bayesian inference for Gaussian-log-Gaussian wavelet trees, and statistical signal processing applications
我们引入新的估计方法的子类的高斯尺度混合模型的小波树Wainwright,Simoncelli和Willsky依赖于现代的结果,复合似然和近似贝叶斯推理。我们的方法说明在二维图像中的去噪和边缘检测问题。
2017-08-10 math.ST stat.ME stat.TH
On The Gaussian Approximation To Bayesian Posterior Distributions
本文推导了将贝叶斯后验分布视为高斯分布所需的最小观测数$N$。两个例子。其中一种是卡方分布,观测值$x$和参数$ξ$定义在整个实轴上,另一种是二项分布,观测值$x$是一个整数,而参数$ξ$定义在实轴的有限区间上。在第一种情况下,所需的最小$N$较高,而在二项模型中较低。在这两种情况下,在$ξ$的尺度上精确定义测量$μ$是至关重要的。
2020-12-01 math.ST stat.TH
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法,用于在非参数回归模型中调整高斯过程的尺度。我们表明,所有的方法导致后收缩率,适应真正的回归函数的平滑度。此外,我们还证明了当真实回归函数满足一定的外推条件时,相应的可信集覆盖了该函数。这个条件取决于具体的方法,但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Bayesian variance estimation in the Gaussian sequence model with partial information on the means
考虑高斯序列模型的附加假设,即平均值的固定分数是已知的。我们从频率论贝叶斯的角度研究方差估计问题。$σ^2$的最大似然估计(MLE)是有偏的和不一致的。这就提出了一个问题,在这种情况下,后验是否能够纠正MLE。通过开发一种新的证明策略,使用精细的后验分布的属性,我们发现,边缘后验是不一致的任何独立同分布。在平均参数之前。特别地,不需要强加关于先验衰减的假设。令人惊讶的是,我们还发现基于高斯混合的分层先验可以保持一致性。在这种情况下,我们还建立了一个极限形状的结果,并确定了极限分布。与经典的Bernstein-von Mises定理相反,极限是非高斯的。我们表明,贝叶斯分析导致新的统计估计优于正确校准的MLE在数值模拟研究。
2019-12-18 math.ST stat.TH
Bayesian Sparse Gaussian Mixture Model in High Dimensions
本文针对高维稀疏高斯混合模型提出一种基于连续spike-and-slab先验的贝叶斯方法,通过Gibbs采样器实现高效后验推断并自适应估计聚类数量,证明其参数估计后验收缩率达到极小极大最优。
2024-02-23 math.ST stat.TH
Bayesian High-dimensional Semi-parametric Inference beyond sub-Gaussian Errors
在高维情形下,考虑了具有未知对称误差的稀疏线性回归模型。假设真实误差分布属于局部$β$ -Hölder类,尾部呈指数下降,不需要是亚高斯分布。我们得到的回归系数和误差密度的后验收敛速度,这是近最优的和自适应的未知稀疏水平。此外,我们推导了半参数Bernstein-von Mises(BvM)定理来描述回归系数的边缘后验的渐近形状。在真得分函数为亚高斯分布的假设下,得到了回归系数的强模型选择相合性,从而证明了频率论可信集的有效性.
2020-08-30 math.ST stat.TH
Nonparametric Bayesian Density Modeling with Gaussian Processes
我们提出了高斯过程密度采样器(GPDS),用于非参数贝叶斯密度估计的可交换生成模型。从GPDS中提取的样本与来自由密度定义的分布的精确独立样本一致,该密度是从高斯过程先验中提取的函数的变换。我们的配方允许我们推断一个未知的密度从数据使用马尔可夫链蒙特卡罗,它给出了样本的后验分布的密度函数和数据空间上的预测分布。我们描述了两种这样的MCMC方法。这两种方法也允许推断的超参数的高斯过程。
2009-12-24 math.ST stat.CO stat.TH
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程,建立了逐点可信集频率学派覆盖率的理论保证,并精确刻画其渐近行为,揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Algebraic geometry of Gaussian Bayesian networks
高斯情形下的条件独立模型是正定协方差阵锥上的代数簇。我们研究这些品种的情况下,贝叶斯网络,以期推广递归因式分解定理的情况下,隐藏变量。在底层图是树的情况下,我们证明了模型的消失理想是由图所隐含的条件独立语句所生成的。我们还表明,理想的任何贝叶斯网络是均匀的,相对于一个多级诱导的上游随机变量的集合。这对隐变量模型有许多重要的影响。最后,我们将贝叶斯网络的理想与代数几何中的一些经典结构联系起来,包括格拉斯曼曲面退化、矩阵舒伯特簇和割线簇。
2007-05-22 math.AG math.ST stat.TH
Bayesian inference for the fractional Calderón problem with a single measurement
National Chengchi University(国立政治大学);Lappeenranta-Lahti University of Technology(拉彭兰塔-拉赫蒂理工大学);University of Jyväskylä(于韦斯屈莱大学)
本文研究单次测量分数阶Calderón问题在加性高斯噪声下的贝叶斯推断,采用重缩放和高斯筛先验,证明后验分布随测量次数增加而集中于真实参数,并建立后验均值重建误差的紧收敛速率,克服了分数阶椭圆问题正则性理论较弱的挑战。
2026-09-11 math.AP math.ST stat.TH
The Bayesian approach to inverse Robin problems
本文研究逆Robin问题的贝叶斯方法,证明后验均值随观测数增加依概率收敛到真实值,对Sobolev正则系数建立对数收敛速率、对解析系数达到代数速率,并用数值实验验证收敛性质。
2023-11-29 math.AP math.ST stat.TH
On Parametric Misspecified Bayesian Cramér-Rao bound: An application to linear Gaussian systems
下界是预测估计器在特定统计模型下可以实现的性能的重要工具。贝叶斯界就是这样一种界,它不仅利用了观测统计量,而且包含了先验模型信息。然而,在现实中,真正的模型产生的数据是未知的或简化时,推导估计,这激励工程模型失配的情况下推导估计范围。本文提供了一个推导模型误指定下的贝叶斯Cramér-Rao界,定义了一些重要的概念,如伪真参数,在以前的作品中没有明确确定。一般的结果是特殊的线性和高斯问题,其中封闭形式是可用的,结果被用来验证结果。
2023-03-01 eess.SP math.ST stat.TH
Bayesian Detection of Image Boundaries
基于噪声的图像边界检测是图像处理和图像分割的基本问题。对于$d$维图像($d = 2, 3, \ldots$),边界通常可以用一个封闭的光滑$(d - 1)$维流形来描述.在本文中,我们提出了一个非参数贝叶斯方法的基础上,先验索引的$\mathbb{S}^{d - 1}$,单位球$\mathbb{R}^d$。我们得到最佳的后验收缩率使用高斯过程或有限的随机序列先验使用基函数,如三角多项式的2维图像和3维图像的球谐函数。对于2维图像,我们证明了一个重新缩放平方指数高斯过程$\mathbb{S}^1$实现了四个目标的保证几何约束,(近)最小最大速率最优和自适应的平滑水平,方便联合推理和计算效率。我们进行了广泛的研究,其再生核希尔伯特空间,这可能是感兴趣的,也可以在其他情况下使用。仿真结果证实了所提出的方法具有良好的性能,并表明其鲁棒性下的模型误设定至少在模拟设置。
2016-05-24 math.ST stat.ME stat.TH
A Bayesian approach for partial Gaussian graphical models with sparsity
我们探索各种贝叶斯方法来估计部分高斯图形模型。我们的分层结构能够处理单输出以及多输出线性回归,在小或高维,通过预测和响应之间的部分相关性(直接链接),通过与每个设置对应的尖峰和板先验,强制执行无稀疏性,稀疏性,组稀疏性或甚至稀疏组稀疏性的双水平选择。适应性和全球收缩也纳入贝叶斯建模的直接联系。现有的模型选择一致性的结果是重新制定坚持我们的稀疏和组稀疏设置,提供了理论保证下的一些技术假设。吉布斯采样器的开发和仿真研究表明,我们的模型,这给非常有竞争力的结果,特别是在支持恢复的效率。最后,研究了一个真实的数据集。
2021-12-13 math.ST stat.ME stat.TH
Conjugate Bayesian analysis of compound-symmetric Gaussian models
讨论了具有复合对称方差-协方差阵的已知均值高斯模型的贝叶斯推断。由于这类矩阵的空间是正定矩阵空间的线性子空间,我们利用Pisano(2022)的方法对常用的Wishart共轭先验进行分解,得到了复合对称半精度矩阵的封闭形式的三参数二元共轭先验分布。非对角项被发现有一个非中心β分布条件的对角线,这是有一个Γ分布广义高斯超几何函数。这些考虑产生了对高斯设置中此类矩阵的最大后验估计的处理,包括Rougier和Priebe(2019)的贝叶斯证据和灵活性惩罚。我们还使用两个数据驱动的示例演示了如何利用先验知识自然测试随机截取模型中常见类内相关性的正性。
2023-03-16 math.ST stat.ME stat.TH
A Bayesian approach with Gaussian priors to the inverse problem of source identification in elliptic PDEs
本文研究椭圆型偏微分方程中未知源函数的统计线性反问题,采用基于高斯先验的非参数贝叶斯方法进行后验推断,回顾了相关理论保证,并在高斯级数先验和Matérn过程先验下通过数值模拟验证了方法性能。
2024-07-25 math.ST stat.ME stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归,其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的,并且是从数据中学习的,以及后验均值和协方差。我们在经验贝叶斯的框架下工作,其中使用数据计算超参数的点估计,然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析,(i)适用于任何要仿真的连续函数$f$;(ii)表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响,并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题,我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
A Hadamard fractioal total variation-Gaussian (HFTG) prior for Bayesian inverse problems
研究了基于Hadamard分数全变差-高斯(HFTG)先验的无穷维贝叶斯反问题推理方法。首先,建立了Hadamard分式索伯列夫空间,并在一定条件下证明了它是可分的巴拿赫空间.然后,在该可分分数维空间中构造HFTG先验,该混合先验不仅能捕捉到区域的纹理细节,避免了阶跃效应,而且为无限维贝叶斯反演提供了完整的理论分析.基于HFTG先验,给出了贝叶斯反问题后验测度的适定性和有限维近似,并利用标准pCN算法从后验分布中提取样本.最后,不同模型下的数值结果表明,HFTG先验贝叶斯推理方法是有效的和准确的。
2021-10-29 math-ph math.MP math.ST
Gaussian Width of Convex Sets via Integral Decompositions, Projections, and the Distribution of Intrinsic Volumes
University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
本文研究了通过积分分解、投影和内在体积分布来确定凸集的高斯宽度,并开发了两种基于索引集几何的分解方法,利用最近的几何分析和高斯过程工作,将高斯宽度与局部度量结构和内在体积联系起来,最终证明宽度由内在体积的'峰值指数'控制。
2026-06-03 cs.IT math.IT math.PR
Multivariate Priors and the Linearity of Optimal Bayesian Estimators under Gaussian Noise
该研究探讨高斯噪声下随机向量的贝叶斯估计问题,证明1≤p≤2时最优贝叶斯估计器线性正定等价于先验为非退化多元高斯,且p>2时存在无穷多先验可产生此类线性估计器。
2024-01-30 cs.IT math.IT math.ST
Bayesian Prediction of Nitrate Concentration Using a Gaussian Log-Gaussian Spatial Model with Measurement Error in Explanatory Variables
这篇文章已被删除arXiv管理员由于伪造的作者。
2019-01-18 stat.AP
Bayesian Inference for the Multinomial Probit Model under Gaussian Prior Distribution
多项概率模型是分类数据的基本回归模型,应用广泛。Fasano和Durante(2022)证明了统一偏正态分布类与几个mnp抽样模型共轭。这允许开发蒙特卡罗采样器和精确的变分方法来执行贝叶斯推断。在本文中,我们适应上述结果的一个流行的特殊情况下:零均值和独立高斯先验下的离散选择mnp模型。这允许获得后验分布的参数的简化表达式和变分算法的另一种推导,其给出了对Fasano和Durante(2022)中的基本结果的新理解以及在我们的特殊设置中的计算优势。
2022-06-01 math.ST stat.CO stat.ME
Learning Sparse Fixed-Structure Gaussian Bayesian Networks
National University of Singapore(新加坡国立大学);Indian Institute of Science, Bangalore(班加罗尔印度科学学院)
高斯贝叶斯网络(Gaussian Bayesian Networks)线性高斯结构方程模型)被广泛用于对连续变量之间的因果相互作用进行建模。在这项工作中,我们研究了学习一个固定结构的高斯贝叶斯网络的问题,总变异距离的有界误差。我们分析了常用的逐节点最小二乘回归(LeastSquares),并证明它具有接近最优的样本复杂度。我们还研究了一对夫妇的新算法的问题:- BatchAvgLeastSquares需要平均数批次的最小二乘解决方案在每个节点上,这样就可以插在批量大小和批次数之间。我们表明,BatchAvgLeastSquares也有接近最优的样本复杂度。- CauchyEst在每个节点上取几批线性系统解的中值。我们表明,专门为polytrees,CauchyEstTree算法,具有接近最佳的样本复杂度。实验表明,对于未受污染的,可实现的数据,最小二乘算法表现最好,但在存在污染或DAG错误指定,CauchyEst/CauchyEstTree和BatchAvgLeastSquares分别表现更好。
2022-10-18 cs.DS cs.LG math.ST
Gaussian mixture modeling of nodes in Bayesian network according to maximal parental cliques
Zhejiang University(浙江大学)
本文用混合高斯模型代替线性高斯模型来拟合贝叶斯网络中每个节点的分布。我们将解释为什么以及如何在贝叶斯网络中使用高斯混合模型。同时,本文提出了一种新的混合模型优化方法--双重迭代算法,该算法结合了期望最大化算法和梯度下降算法,在混合模型的贝叶斯网络上有较好的性能。在实验中,我们在实际数据集上对不同结构的学习算法生成的不同图进行了高斯混合模型和优化算法的测试,并给出了每个实验的细节。
2022-05-16 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计,通过最大化期望的改善,在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明,所获得的自适应设计的有效性相比,固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille(里尔大学);CNRS/CRIStAL(法国国家科学研究中心/CRIStAL实验室);Inria Lille(法国里尔国家信息与自动化研究所)
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而,由于经典高斯过程的协方差阵的平稳性是先验的,这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题,提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型,而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性,从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论,并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比,最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Bayesian Meta-Learning Through Variational Gaussian Processes
Stanford University(斯坦福大学)
元学习领域的最新进展已经解决了由大量小(“Few-Shot”)监督学习任务组成的领域。元学习算法必须能够快速适应任何单个的Few-Shot任务,适应任务中的小支持集,并使用它来预测任务查询集的标签。这个问题设置可以扩展到贝叶斯上下文,其中不是为每个查询数据点预测单个标签,而是模型预测捕获其不确定性的标签分布。这一领域的成功方法包括基于MAML的模型的贝叶斯集成、贝叶斯神经网络和具有学习的深度核和均值函数的高斯过程。虽然高斯过程在元学习上下文中具有鲁棒的贝叶斯解释,但它们并不自然地对用于表达不确定性的非高斯预测后验进行建模。在本文中,我们设计了一个理论上的原则性方法,VMGP,扩展高斯过程为基础的元学习,允许高质量,任意非高斯不确定性预测。在具有复杂非光滑或不连续结构的基准环境中,我们发现我们的VMGP方法的性能明显优于现有的贝叶斯元学习基线。
2021-10-21 cs.LG stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University(东北大学);Yamagata University(山形大学)
针对高斯图模型,提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外,我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型,其中包括先验约束,每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验,如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难,并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Bayesian Analysis of Censored Spatial Data Based on a Non-Gaussian Model
在本文中,我们建议使用斜高斯对数高斯模型的分析空间删失数据从贝叶斯的观点。这种方法是对偏对数高斯模型的一种扩展,既能适应偏态和重尾,也能适应删失数据。所有提到的特征都是空间数据的三个普遍特征。我们利用数据增广法和马尔可夫链蒙特卡罗(MCMC)算法进行后验计算。使用模拟数据,以及将其应用到一个真实的数据集的方法进行说明。关键词:删失数据,数据扩充,非高斯空间模型,离群点,统一偏高斯。
2018-11-27 stat.AP stat.ME
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Constrained Bayesian Optimization under Bivariate Gaussian Process with Application to Cure Process Optimization
针对约束贝叶斯优化中目标与约束函数独立性假设不成立的问题,提出利用二元高斯过程刻画二者依赖关系并开发约束期望改进获取函数,在固化过程优化中验证了其有效性。
2025-05-30 stat.AP stat.CO stat.ML
Computationally Efficient Bayesian Learning of Gaussian Process State Space Models
高斯过程允许灵活地指定状态空间模型中未知动态的先验假设。我们提出了一个有效的贝叶斯学习过程中的高斯过程状态空间模型,其中的表示是通过投影问题到一组近似的特征函数来自先验协方差结构。在这一系列模型下的学习可以使用精心制作的粒子MCMC算法进行。该方案是计算效率高,但允许一个完全贝叶斯处理的问题。与传统的系统识别工具或现有的学习方法相比,我们表现出有竞争力的性能和可靠的量化模型中的不确定性。
2016-04-15 stat.CO stat.ML
Trans-Gaussian Kriging in a Bayesian framework : a case study
在高斯过程回归或克里格的背景下,我们提出了一个完整的贝叶斯解决方案来处理超参数的协方差函数。这种解决方案可以扩展到trans-Gaussian Kriging框架,这使得有可能处理违反Kriging所需假设的空间数据集。它被证明是优雅和高效的。我们提出了一个应用程序,在核安全领域的计算机实验中,它是必要的模型的非破坏性检测程序的基础上涡流检测可能的磨损蒸汽发生器管。
2018-05-23 stat.AP
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM(欧洲通信研究院);University of California, Irvine(加州大学欧文分校)
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而,基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题,我们提出了一种新的稀疏高斯过程贝叶斯自动编码器(SGPAE)模型,在该模型中,我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法,并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta(阿尔伯塔大学)
从磁共振图像(MRI)分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而,自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流(FVF)算法的脑肿瘤自动分割方法。在我们的方法中,归一化高斯混合模型(NGMM)的建议,并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图(GBBM)。进一步处理GBBM以初始化3D FVF算法,该算法分割脑肿瘤。该算法有两个主要贡献。首先,我们提出了一个NGMM模型健康的大脑。其次,我们将我们的2D FVF算法扩展到3D空间,并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来,在各个领域积累了大量的观测数据,并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性,提出了一种线性非高斯非循环模型(LiNGAM)来估计变量的数据生成过程。然而,如果存在潜在类,则估计的结果可能有偏差。在本文中,我们首先回顾LiNGAM,其扩展模型,以及LiNGAM的贝叶斯框架中的估计过程。然后,我们提出了一个新的贝叶斯估计过程,解决了这个问题。
2014-08-02 stat.ML
Wasserstein Barycenter Gaussian Process based Bayesian Optimization
Department of Economics Management and Statistics, University of Milano-Bicocca(经济管理统计系,米兰-比科卡大学);Department of Computer Science Systems and Communication, University of Milano-Bicocca(计算机科学系统与通信系,米兰-比科卡大学)
针对标准高斯过程贝叶斯优化中超参数拟合存在缺陷的问题,提出通过预设多组超参数拟合并用Wasserstein重心组合的WBGP-BO方法,在棘手测试问题上仍能收敛到最优解。
2025-05-18 cs.LG math.OC stat.ML
Gaussian processes for Bayesian inverse problems associated with linear partial differential equations
School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所)
针对少量训练数据下线性偏微分方程相关贝叶斯反问题,扩展已有框架构建融合PDE信息的高斯先验并生成近似后验,实验证明其性能优于传统先验。
2023-07-17 cs.LG stat.ML
Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University(山形大学);Tohoku University(东北大学)
在本文中,我们考虑贝叶斯图像去噪的高斯马尔可夫随机场(GMRF)模型的基础上,我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题,包括超参数估计,在$O(n)$时间,其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看,这是一个国家的最先进的算法,目前的问题设置。此外,我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
A Bayesian Semiparametric Gaussian Copula Approach to a Multivariate Normality Test
在本文中,贝叶斯半参数Copula方法被用来模拟潜在的多元分布$F_{true}$。首先,在$F_{true}$的未知边缘分布上构造Dirichlet过程。然后利用高斯copula模型来捕捉$F_{true}$的依赖结构。最后,结合相对置信比和能量距离建立了贝叶斯多元正态性检验。几个有趣的理论结果的方法。最后,通过几个模拟的例子和一个真实的数据集,所提出的方法显示出良好的性能。
2019-07-04 stat.AP stat.CO stat.ME
Bayesian Wasserstein Repulsive Gaussian Mixture Models
本文提出贝叶斯Wasserstein排斥高斯混合模型,基于Wasserstein距离促进聚类分离,并在非参数密度估计框架内建立后验收缩率,验证了其有效性。
2025-04-30 stat.ME
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然(BSL)的正态分布假设偏差及统计量兼容性需求,结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯,提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Theoretical Analysis of Bayesian Optimisation with Unknown Gaussian Process Hyper-Parameters
University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院)
贝叶斯优化作为优化机器学习算法和模型的参数的工具已经获得了极大的普及。有点讽刺的是,设置贝叶斯优化方法的超参数是出了名的困难。虽然已经提出了合理的实际解决方案,但它们往往无法找到最佳的最佳方案。令人惊讶的是,在文献中几乎没有对这个关键问题进行理论分析。为了解决这个问题,我们推导出一个累积的遗憾界贝叶斯优化与高斯过程和未知的核超参数的随机设置。该界适用于期望的改进捕获函数和亚高斯观测噪声,为我们设计超参数估计方法提供了指导。一个简单的模拟演示了遵循这些准则的重要性。
2014-06-30 cs.LG stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于递归贝叶斯自回归估计的方法,用于优化时间Matérn核高斯过程的超参数,在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理(TAGI)的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性,并且对回归和分类基准进行的测试证实,对于相同的网络架构,它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
A Bayesian approach for clustering skewed data using mixtures of multivariate normal-inverse Gaussian distributions
非高斯混合模型在基于混合模型的聚类中得到越来越多的关注,特别是在处理具有偏态和重尾等特征的数据时。在这里,这样的混合分布,基于多元正态逆高斯(MNIG)分布。对于混合模型的参数估计,采用基于Gibbs抽样的贝叶斯方法,提出了一种模拟单变量广义逆高斯随机变量和矩阵广义逆高斯随机矩阵的新方法.该算法将被应用到模拟和真实数据。通过仿真研究和实际数据分析,我们表明参数恢复,我们的方法提供了竞争力的聚类结果相比,其他聚类方法。
2020-05-06 stat.CO
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute(应用人工智能研究院)
为了提高贝叶斯优化的性能,我们开发了一种改进的高斯过程置信上限(GP-UCB)获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明,这允许预期的权衡参数被改变,以更好地适应问题,而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明,我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML