Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures
我们考虑贝叶斯非参数密度估计使用Pitman-Yor或归一化逆高斯过程核混合作为密度的先验分布。该程序是从频率论的角度进行研究。使用棒打破皮特曼-约尔过程或表达的有限维分布的归一化逆高斯过程，我们证明了，当数据是从一个无限光滑的密度重复，后验分布集中在任何收缩$L^p$ -范数球，$1\leq p\leq\infty$，周围的采样密度在\emph{nearly parametric}率，对数因子。由此产生的分层贝叶斯过程，与一个固定的前，因此示出是自适应的采样密度的平滑度的无限。
2013-02-13 math.ST stat.TH
Bayesian inference with rescaled Gaussian process priors
我们使用重标度高斯过程作为非参数统计模型中函数参数的先验模型。我们展示了如何收缩率的后验分布取决于比例因子。特别是，我们表现出重新缩放高斯过程先验产生后验，合同周围的真实参数在最佳的收敛速度。为了得到我们的结果，我们建立了光滑平稳高斯过程的小偏差概率的界限。
2007-10-19 math.ST stat.TH
On The Gaussian Approximation To Bayesian Posterior Distributions
本文推导了将贝叶斯后验分布视为高斯分布所需的最小观测数$N$。两个例子。其中一种是卡方分布，观测值$x$和参数$ξ$定义在整个实轴上，另一种是二项分布，观测值$x$是一个整数，而参数$ξ$定义在实轴的有限区间上。在第一种情况下，所需的最小$N$较高，而在二项模型中较低。在这两种情况下，在$ξ$的尺度上精确定义测量$μ$是至关重要的。
2020-12-01 math.ST stat.TH
Optimal Bayesian estimation in random covariate design with a rescaled Gaussian process prior
在贝叶斯非参数模型中，高斯过程为回归函数估计提供了一种流行的先验选择。现有文献的理论研究所产生的后验分布几乎完全假设一个固定的协变量设计。我们所知道的唯一随机设计结果（van der Vaart & van Zanten，2011）假设指定的高斯过程在概率为1的真函数指定的平滑类上得到支持。这是一个相当严格的假设，因为它基本上排除了高斯过程之前的平方指数内核建模粗糙的功能。在这篇文章中，我们表明，一个适当的重新缩放上述高斯过程导致率最优的后验分布，即使协变量是独立实现从一个已知的密度在一个紧凑的集合。证明的基础上得出尖锐的浓度不等式的频率核估计，结果可能是独立的利益。
2015-03-05 math.ST stat.TH
Nonparametric Bayesian Density Modeling with Gaussian Processes
我们提出了高斯过程密度采样器（GPDS），用于非参数贝叶斯密度估计的可交换生成模型。从GPDS中提取的样本与来自由密度定义的分布的精确独立样本一致，该密度是从高斯过程先验中提取的函数的变换。我们的配方允许我们推断一个未知的密度从数据使用马尔可夫链蒙特卡罗，它给出了样本的后验分布的密度函数和数据空间上的预测分布。我们描述了两种这样的MCMC方法。这两种方法也允许推断的超参数的高斯过程。
2009-12-24 math.ST stat.CO stat.TH
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法，用于在非参数回归模型中调整高斯过程的尺度。我们表明，所有的方法导致后收缩率，适应真正的回归函数的平滑度。此外，我们还证明了当真实回归函数满足一定的外推条件时，相应的可信集覆盖了该函数。这个条件取决于具体的方法，但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Bayesian variance estimation in the Gaussian sequence model with partial information on the means
考虑高斯序列模型的附加假设，即平均值的固定分数是已知的。我们从频率论贝叶斯的角度研究方差估计问题。$σ^2$的最大似然估计（MLE）是有偏的和不一致的。这就提出了一个问题，在这种情况下，后验是否能够纠正MLE。通过开发一种新的证明策略，使用精细的后验分布的属性，我们发现，边缘后验是不一致的任何独立同分布。在平均参数之前。特别地，不需要强加关于先验衰减的假设。令人惊讶的是，我们还发现基于高斯混合的分层先验可以保持一致性。在这种情况下，我们还建立了一个极限形状的结果，并确定了极限分布。与经典的Bernstein-von Mises定理相反，极限是非高斯的。我们表明，贝叶斯分析导致新的统计估计优于正确校准的MLE在数值模拟研究。
2019-12-18 math.ST stat.TH
Bayesian Sparse Gaussian Mixture Model in High Dimensions
本文针对高维稀疏高斯混合模型提出一种基于连续spike-and-slab先验的贝叶斯方法，通过Gibbs采样器实现高效后验推断并自适应估计聚类数量，证明其参数估计后验收缩率达到极小极大最优。
2024-02-23 math.ST stat.TH
Bayesian High-dimensional Semi-parametric Inference beyond sub-Gaussian Errors
在高维情形下，考虑了具有未知对称误差的稀疏线性回归模型。假设真实误差分布属于局部$β$ -Hölder类，尾部呈指数下降，不需要是亚高斯分布。我们得到的回归系数和误差密度的后验收敛速度，这是近最优的和自适应的未知稀疏水平。此外，我们推导了半参数Bernstein-von Mises（BvM）定理来描述回归系数的边缘后验的渐近形状。在真得分函数为亚高斯分布的假设下，得到了回归系数的强模型选择相合性，从而证明了频率论可信集的有效性.
2020-08-30 math.ST stat.TH
Adaptive Bayesian estimation using a Gaussian random field with inverse Gamma bandwidth
我们考虑非参数贝叶斯估计推断使用重新缩放的光滑高斯场作为多维函数的先验。使用Gamma变量实现重新缩放，并且该过程可以被视为选择逆Gamma带宽。从频率论的角度研究的过程中，涉及重复观测（密度估计，回归和分类）的统计设置。我们证明，由此产生的后验分布收缩的分布，产生的数据的速度是最小最优的对数因子，无论规则性水平的数据生成分布。因此，层次贝叶斯过程，与一个固定的先验，是完全自适应的。
2009-08-25 math.ST stat.TH
Algebraic Bayesian analysis of contingency tables with possibly zero-probability cells
在本文中，我们考虑了贝叶斯分析的列联表允许的可能性，细胞可能有概率为零。从这个意义上说，我们离开标准的对数线性模型，隐含地假设一个积极的约束。我们的方法使我们考虑混合模型的列联表，其中的成分的混合物，我们称之为模型实例，有不同的支持。我们依靠多项式代数的思想来识别各种模型实例。我们还提供了一种方法来分配先验概率的模型的每个实例，以及描述的方法，用于构建先验的参数空间的每个实例。我们说明我们的方法，通过一个$5 \times 2$表，涉及两个结构零，以及零计数。我们得到的结果表明，我们的分析可能会导致的结论是实质性的不同，将获得在一个标准的框架，其中的可能性零概率细胞没有明确占。
2007-03-05 math.ST stat.TH
Recent Advances in Algebraic Geometry and Bayesian Statistics
Tokyo Institute of Technology（东京工业大学）
本文综述了近二十年来代数几何和贝叶斯统计研究领域的理论进展。许多包含层次结构或潜变量的统计模型和学习机被称为不可识别的，因为从参数到统计模型的映射不是一对一的。在不可辨识模型中，似然函数和后验分布一般都具有奇异性，因此很难分析它们的统计特性。然而，从20世纪末开始，建立了基于代数几何的新理论和方法，使我们能够在现实世界中研究这些模型和机器。本文报道了以下几个方面的最新进展。首先，我们解释了贝叶斯统计的框架，并从双有理几何引入了一个新的视角。其次，基于代数几何推导出两个数学解。通过分辨映射可以找到一个合适的参数空间，使得后验分布为正规交叉，对数似然比函数定义明确。第三，介绍了统计学的三个应用。将后验分布表示为重正化形式，导出了渐近自由能，建立了推广损失、交叉验证和信息准则之间的普适公式。本文报道的基于代数几何的两种数学解决方案和三种统计应用现在正在数据科学和人工智能的许多实际领域中使用。
2022-11-18 cs.LG math.ST stat.TH
Extended Bayesian Information Criteria for Gaussian Graphical Models
在逆协方差阵中具有稀疏性的高斯图模型在许多现代应用中具有重要意义。对于恢复的图形结构的问题，信息标准提供了有用的优化目标的算法搜索通过组的图形或其他方法，如图形套索，这是一种可能性惩罚技术的调整参数的选择。在本文中，我们建立了一个扩展的贝叶斯信息准则的一致性高斯图模型的情况下，变量的数量p和样本量n增长。与早期的工作相比，回归的情况下，我们的治疗允许增长的非零参数的数量在真正的模型，这是必要的，以覆盖连通图。我们证明了这个标准的性能与图形套索一起使用时，模拟数据，并验证该标准确实比交叉验证或普通贝叶斯信息标准时，p和非零参数q的数量都与n的规模更好。
2010-11-30 math.ST stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归，其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的，并且是从数据中学习的，以及后验均值和协方差。我们在经验贝叶斯的框架下工作，其中使用数据计算超参数的点估计，然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析，（i）适用于任何要仿真的连续函数$f$;（ii）表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响，并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题，我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
On Parametric Misspecified Bayesian Cramér-Rao bound: An application to linear Gaussian systems
下界是预测估计器在特定统计模型下可以实现的性能的重要工具。贝叶斯界就是这样一种界，它不仅利用了观测统计量，而且包含了先验模型信息。然而，在现实中，真正的模型产生的数据是未知的或简化时，推导估计，这激励工程模型失配的情况下推导估计范围。本文提供了一个推导模型误指定下的贝叶斯Cramér-Rao界，定义了一些重要的概念，如伪真参数，在以前的作品中没有明确确定。一般的结果是特殊的线性和高斯问题，其中封闭形式是可用的，结果被用来验证结果。
2023-03-01 eess.SP math.ST stat.TH
A Hadamard fractioal total variation-Gaussian (HFTG) prior for Bayesian inverse problems
研究了基于Hadamard分数全变差-高斯（HFTG）先验的无穷维贝叶斯反问题推理方法。首先，建立了Hadamard分式索伯列夫空间，并在一定条件下证明了它是可分的巴拿赫空间.然后，在该可分分数维空间中构造HFTG先验，该混合先验不仅能捕捉到区域的纹理细节，避免了阶跃效应，而且为无限维贝叶斯反演提供了完整的理论分析.基于HFTG先验，给出了贝叶斯反问题后验测度的适定性和有限维近似，并利用标准pCN算法从后验分布中提取样本.最后，不同模型下的数值结果表明，HFTG先验贝叶斯推理方法是有效的和准确的。
2021-10-29 math-ph math.MP math.ST
A Bayesian approach for partial Gaussian graphical models with sparsity
我们探索各种贝叶斯方法来估计部分高斯图形模型。我们的分层结构能够处理单输出以及多输出线性回归，在小或高维，通过预测和响应之间的部分相关性（直接链接），通过与每个设置对应的尖峰和板先验，强制执行无稀疏性，稀疏性，组稀疏性或甚至稀疏组稀疏性的双水平选择。适应性和全球收缩也纳入贝叶斯建模的直接联系。现有的模型选择一致性的结果是重新制定坚持我们的稀疏和组稀疏设置，提供了理论保证下的一些技术假设。吉布斯采样器的开发和仿真研究表明，我们的模型，这给非常有竞争力的结果，特别是在支持恢复的效率。最后，研究了一个真实的数据集。
2021-12-13 math.ST stat.ME stat.TH
Conjugate Bayesian analysis of compound-symmetric Gaussian models
讨论了具有复合对称方差-协方差阵的已知均值高斯模型的贝叶斯推断。由于这类矩阵的空间是正定矩阵空间的线性子空间，我们利用Pisano（2022）的方法对常用的Wishart共轭先验进行分解，得到了复合对称半精度矩阵的封闭形式的三参数二元共轭先验分布。非对角项被发现有一个非中心β分布条件的对角线，这是有一个Γ分布广义高斯超几何函数。这些考虑产生了对高斯设置中此类矩阵的最大后验估计的处理，包括Rougier和Priebe（2019）的贝叶斯证据和灵活性惩罚。我们还使用两个数据驱动的示例演示了如何利用先验知识自然测试随机截取模型中常见类内相关性的正性。
2023-03-16 math.ST stat.ME stat.TH
Bayesian Prediction of Nitrate Concentration Using a Gaussian Log-Gaussian Spatial Model with Measurement Error in Explanatory Variables
这篇文章已被删除arXiv管理员由于伪造的作者。
2019-01-18 stat.AP
A Bayesian approach with Gaussian priors to the inverse problem of source identification in elliptic PDEs
本文研究椭圆型偏微分方程中未知源函数的统计线性反问题，采用基于高斯先验的非参数贝叶斯方法进行后验推断，回顾了相关理论保证，并在高斯级数先验和Matérn过程先验下通过数值模拟验证了方法性能。
2024-07-25 math.ST stat.ME stat.TH
Combinatorial and algebraic perspectives on the marginal independence structure of Bayesian networks
本文刻画Bayes网络无条件依赖图，利用Gröbner基与二项式关系构建图空间上的MCMC搜索方法GrUES，在合成Gaussian数据上提升真实边际独立结构恢复率并给出可靠后验可信集。
2024-01-31 math.AG math.CO math.ST
Bayesian Inference for Initial Heat States with Gaussian Series Priors
针对从热方程含噪内部测量恢复初始热状态的逆问题，提出采用Dirichlet-Laplacian特征基上的高斯序列先验的非参数贝叶斯方法，推导共轭后验，回顾渐近理论保证并给出实现与数值验证。
2025-06-17 math.ST stat.ME stat.TH
Statistical guarantees for Bayesian uncertainty quantification in non-linear inverse problems with Gaussian process priors
研究了一类非线性逆回归模型的贝叶斯推断和不确定性量化问题。分析条件上的回归模型$\{\mathscr G(θ): θ\in Θ\}$和高斯过程先验$θ$提供这样的半参数有效的推理是可能的一个大类的线性泛函的$θ$。证明了一般半参数Bernstein-von Mises定理，证明了（非高斯）后验分布可用以后验均值为中心的高斯测度近似.因此，基于后验的可信集是有效的，从频率论的角度来看是最优的。该理论的两个应用程序与偏微分方程中出现的非线性层析成像问题：一个椭圆形的反问题的薛定谔方程，和反演的非阿贝尔X射线变换。新的分析技术表明，相关的Fisher信息算子在合适的函数空间之间是可逆的
2021-04-14 math.AP math.ST stat.TH
Multivariate Priors and the Linearity of Optimal Bayesian Estimators under Gaussian Noise
该研究探讨高斯噪声下随机向量的贝叶斯估计问题，证明1≤p≤2时最优贝叶斯估计器线性正定等价于先验为非退化多元高斯，且p>2时存在无穷多先验可产生此类线性估计器。
2024-01-30 cs.IT math.IT math.ST
Improving the INLA approach for approximate Bayesian inference for latent Gaussian models
本文引入了一种新的基于Copula的广义线性混合模型修正方法，并将其应用于潜在高斯模型的近似贝叶斯推断的集成嵌套拉普拉斯近似（INLA）方法中.虽然INLA通常非常准确，但一些（相当极端）GLP-A病例（例如，二项式或泊松数据）被认为是有问题的。当模型中的平滑程度或“借用强度”非常低时，可能会出现不准确，因此我们开发了一种修正方法，旨在扩大INLA的适用范围。我们的新校正已被实现为R-INLA包的一部分，只增加了微不足道的计算成本。对真实数据和模拟数据的实证分析表明，该方法效果良好。
2015-12-15 math.ST stat.CO stat.ME
Gaussian mixture modeling of nodes in Bayesian network according to maximal parental cliques
Zhejiang University（浙江大学）
本文用混合高斯模型代替线性高斯模型来拟合贝叶斯网络中每个节点的分布。我们将解释为什么以及如何在贝叶斯网络中使用高斯混合模型。同时，本文提出了一种新的混合模型优化方法--双重迭代算法，该算法结合了期望最大化算法和梯度下降算法，在混合模型的贝叶斯网络上有较好的性能。在实验中，我们在实际数据集上对不同结构的学习算法生成的不同图进行了高斯混合模型和优化算法的测试，并给出了每个实验的细节。
2022-05-16 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Bayesian Inference for the Multinomial Probit Model under Gaussian Prior Distribution
多项概率模型是分类数据的基本回归模型，应用广泛。Fasano和Durante（2022）证明了统一偏正态分布类与几个mnp抽样模型共轭。这允许开发蒙特卡罗采样器和精确的变分方法来执行贝叶斯推断。在本文中，我们适应上述结果的一个流行的特殊情况下：零均值和独立高斯先验下的离散选择mnp模型。这允许获得后验分布的参数的简化表达式和变分算法的另一种推导，其给出了对Fasano和Durante（2022）中的基本结果的新理解以及在我们的特殊设置中的计算优势。
2022-06-01 math.ST stat.CO stat.ME
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型，并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计，通过最大化期望的改善，在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明，所获得的自适应设计的有效性相比，固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Learning Sparse Fixed-Structure Gaussian Bayesian Networks
National University of Singapore（新加坡国立大学）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
高斯贝叶斯网络（Gaussian Bayesian Networks）线性高斯结构方程模型）被广泛用于对连续变量之间的因果相互作用进行建模。在这项工作中，我们研究了学习一个固定结构的高斯贝叶斯网络的问题，总变异距离的有界误差。我们分析了常用的逐节点最小二乘回归（LeastSquares），并证明它具有接近最优的样本复杂度。我们还研究了一对夫妇的新算法的问题：- BatchAvgLeastSquares需要平均数批次的最小二乘解决方案在每个节点上，这样就可以插在批量大小和批次数之间。我们表明，BatchAvgLeastSquares也有接近最优的样本复杂度。- CauchyEst在每个节点上取几批线性系统解的中值。我们表明，专门为polytrees，CauchyEstTree算法，具有接近最佳的样本复杂度。实验表明，对于未受污染的，可实现的数据，最小二乘算法表现最好，但在存在污染或DAG错误指定，CauchyEst/CauchyEstTree和BatchAvgLeastSquares分别表现更好。
2022-10-18 cs.DS cs.LG math.ST
Consistency of Bayesian inference with Gaussian process priors in an elliptic inverse problem
对于$\mathbb{R}^d$中的有界区域$\mathcal{O}$和给定的光滑函数$g:\mathcal{O}\to\mathbb{R}$，我们考虑了由解$u=u_f$在$\mathcal O$上的$N$离散噪声点估计恢复散度型方程$$ \nabla\cdot(f\nabla u)=g\ \textrm{on}\ \mathcal{O}, \quad u=0\ \textrm{on}\ \partial\mathcal{O}, $$中电导率$f>0$的统计非线性反问题.我们研究了贝叶斯非参数过程的统计性能的基础上灵活的一类高斯（或分层高斯）的过程先验，其实施是可行的MCMC方法。我们发现，随着测量的数量$N$的增加，产生的后验分布集中在真正的参数生成的数据，并推导出收敛速度$N^{-λ}, λ>0,$的重建误差的相关后验手段，在$L^2(\mathcal{O})$距离。
2020-03-06 cs.NA math.AP math.NA
Bayesian Optimization using Deep Gaussian Processes
Université de Lille（里尔大学）；CNRS/CRIStAL（法国国家科学研究中心/CRIStAL实验室）；Inria Lille（法国里尔国家信息与自动化研究所）
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而，由于经典高斯过程的协方差阵的平稳性是先验的，这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题，提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型，而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性，从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论，并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比，最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Bayesian Meta-Learning Through Variational Gaussian Processes
Stanford University（斯坦福大学）
元学习领域的最新进展已经解决了由大量小（“Few-Shot”）监督学习任务组成的领域。元学习算法必须能够快速适应任何单个的Few-Shot任务，适应任务中的小支持集，并使用它来预测任务查询集的标签。这个问题设置可以扩展到贝叶斯上下文，其中不是为每个查询数据点预测单个标签，而是模型预测捕获其不确定性的标签分布。这一领域的成功方法包括基于MAML的模型的贝叶斯集成、贝叶斯神经网络和具有学习的深度核和均值函数的高斯过程。虽然高斯过程在元学习上下文中具有鲁棒的贝叶斯解释，但它们并不自然地对用于表达不确定性的非高斯预测后验进行建模。在本文中，我们设计了一个理论上的原则性方法，VMGP，扩展高斯过程为基础的元学习，允许高质量，任意非高斯不确定性预测。在具有复杂非光滑或不连续结构的基准环境中，我们发现我们的VMGP方法的性能明显优于现有的贝叶斯元学习基线。
2021-10-21 cs.LG stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University（东北大学）；Yamagata University（山形大学）
针对高斯图模型，提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外，我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型，其中包括先验约束，每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验，如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难，并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Bayesian Analysis of Censored Spatial Data Based on a Non-Gaussian Model
在本文中，我们建议使用斜高斯对数高斯模型的分析空间删失数据从贝叶斯的观点。这种方法是对偏对数高斯模型的一种扩展，既能适应偏态和重尾，也能适应删失数据。所有提到的特征都是空间数据的三个普遍特征。我们利用数据增广法和马尔可夫链蒙特卡罗（MCMC）算法进行后验计算。使用模拟数据，以及将其应用到一个真实的数据集的方法进行说明。关键词：删失数据，数据扩充，非高斯空间模型，离群点，统一偏高斯。
2018-11-27 stat.AP stat.ME
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程（GP）的方法来近似未知参数和数据的联合分布。特别是，我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后，我们提供了一个自适应算法来构建这样的近似，其中使用主动学习方法来选择设计点。数值例子表明，该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Constrained Bayesian Optimization under Bivariate Gaussian Process with Application to Cure Process Optimization
针对约束贝叶斯优化中目标与约束函数独立性假设不成立的问题，提出利用二元高斯过程刻画二者依赖关系并开发约束期望改进获取函数，在固化过程优化中验证了其有效性。
2025-05-30 stat.AP stat.CO stat.ML
Computationally Efficient Bayesian Learning of Gaussian Process State Space Models
高斯过程允许灵活地指定状态空间模型中未知动态的先验假设。我们提出了一个有效的贝叶斯学习过程中的高斯过程状态空间模型，其中的表示是通过投影问题到一组近似的特征函数来自先验协方差结构。在这一系列模型下的学习可以使用精心制作的粒子MCMC算法进行。该方案是计算效率高，但允许一个完全贝叶斯处理的问题。与传统的系统识别工具或现有的学习方法相比，我们表现出有竞争力的性能和可靠的量化模型中的不确定性。
2016-04-15 stat.CO stat.ML
Trans-Gaussian Kriging in a Bayesian framework : a case study
在高斯过程回归或克里格的背景下，我们提出了一个完整的贝叶斯解决方案来处理超参数的协方差函数。这种解决方案可以扩展到trans-Gaussian Kriging框架，这使得有可能处理违反Kriging所需假设的空间数据集。它被证明是优雅和高效的。我们提出了一个应用程序，在核安全领域的计算机实验中，它是必要的模型的非破坏性检测程序的基础上涡流检测可能的磨损蒸汽发生器管。
2018-05-23 stat.AP
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta（阿尔伯塔大学）
从磁共振图像（MRI）分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而，自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流（FVF）算法的脑肿瘤自动分割方法。在我们的方法中，归一化高斯混合模型（NGMM）的建议，并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图（GBBM）。进一步处理GBBM以初始化3D FVF算法，该算法分割脑肿瘤。该算法有两个主要贡献。首先，我们提出了一个NGMM模型健康的大脑。其次，我们将我们的2D FVF算法扩展到3D空间，并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来，在各个领域积累了大量的观测数据，并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性，提出了一种线性非高斯非循环模型（LiNGAM）来估计变量的数据生成过程。然而，如果存在潜在类，则估计的结果可能有偏差。在本文中，我们首先回顾LiNGAM，其扩展模型，以及LiNGAM的贝叶斯框架中的估计过程。然后，我们提出了一个新的贝叶斯估计过程，解决了这个问题。
2014-08-02 stat.ML
Wasserstein Barycenter Gaussian Process based Bayesian Optimization
Department of Economics Management and Statistics, University of Milano-Bicocca（经济管理统计系，米兰-比科卡大学）；Department of Computer Science Systems and Communication, University of Milano-Bicocca（计算机科学系统与通信系，米兰-比科卡大学）
针对标准高斯过程贝叶斯优化中超参数拟合存在缺陷的问题，提出通过预设多组超参数拟合并用Wasserstein重心组合的WBGP-BO方法，在棘手测试问题上仍能收敛到最优解。
2025-05-18 cs.LG math.OC stat.ML
Gaussian processes for Bayesian inverse problems associated with linear partial differential equations
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
针对少量训练数据下线性偏微分方程相关贝叶斯反问题，扩展已有框架构建融合PDE信息的高斯先验并生成近似后验，实验证明其性能优于传统先验。
2023-07-17 cs.LG stat.ML
Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University（山形大学）；Tohoku University（东北大学）
在本文中，我们考虑贝叶斯图像去噪的高斯马尔可夫随机场（GMRF）模型的基础上，我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题，包括超参数估计，在$O(n)$时间，其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看，这是一个国家的最先进的算法，目前的问题设置。此外，我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
A Bayesian Semiparametric Gaussian Copula Approach to a Multivariate Normality Test
在本文中，贝叶斯半参数Copula方法被用来模拟潜在的多元分布$F_{true}$。首先，在$F_{true}$的未知边缘分布上构造Dirichlet过程。然后利用高斯copula模型来捕捉$F_{true}$的依赖结构。最后，结合相对置信比和能量距离建立了贝叶斯多元正态性检验。几个有趣的理论结果的方法。最后，通过几个模拟的例子和一个真实的数据集，所提出的方法显示出良好的性能。
2019-07-04 stat.AP stat.CO stat.ME
Bayesian Wasserstein Repulsive Gaussian Mixture Models
本文提出贝叶斯Wasserstein排斥高斯混合模型，基于Wasserstein距离促进聚类分离，并在非参数密度估计框架内建立后验收缩率，验证了其有效性。
2025-04-30 stat.ME
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Theoretical Analysis of Bayesian Optimisation with Unknown Gaussian Process Hyper-Parameters
University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
贝叶斯优化作为优化机器学习算法和模型的参数的工具已经获得了极大的普及。有点讽刺的是，设置贝叶斯优化方法的超参数是出了名的困难。虽然已经提出了合理的实际解决方案，但它们往往无法找到最佳的最佳方案。令人惊讶的是，在文献中几乎没有对这个关键问题进行理论分析。为了解决这个问题，我们推导出一个累积的遗憾界贝叶斯优化与高斯过程和未知的核超参数的随机设置。该界适用于期望的改进捕获函数和亚高斯观测噪声，为我们设计超参数估计方法提供了指导。一个简单的模拟演示了遵循这些准则的重要性。
2014-06-30 cs.LG stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种基于递归贝叶斯自回归估计的方法，用于优化时间Matérn核高斯过程的超参数，在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理（TAGI）的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性，并且对回归和分类基准进行的测试证实，对于相同的网络架构，它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
A Bayesian approach for clustering skewed data using mixtures of multivariate normal-inverse Gaussian distributions
非高斯混合模型在基于混合模型的聚类中得到越来越多的关注，特别是在处理具有偏态和重尾等特征的数据时。在这里，这样的混合分布，基于多元正态逆高斯（MNIG）分布。对于混合模型的参数估计，采用基于Gibbs抽样的贝叶斯方法，提出了一种模拟单变量广义逆高斯随机变量和矩阵广义逆高斯随机矩阵的新方法.该算法将被应用到模拟和真实数据。通过仿真研究和实际数据分析，我们表明参数恢复，我们的方法提供了竞争力的聚类结果相比，其他聚类方法。
2020-05-06 stat.CO
