Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Learning from Summarized Data: Gaussian Process Regression with Sample Quasi-Likelihood
Yuta Shikuri(独立研究者)
针对仅能获取汇总数据(含代表性特征、统计量和计数)的场景,本研究提出基于样本拟似然的高斯过程回归方法,分析近似误差并验证其在空间建模中的有效性。
2025-08-24 cs.LG stat.ML
Gaussian Process Pseudo-Likelihood Models for Sequence Labeling
University of Sheffield(谢菲尔德大学);INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学校);Indian Institute of Science(印度科学理工学院)
在自然语言处理中出现的几个机器学习问题可以建模为序列标记问题。我们提供基于伪似然近似的高斯过程模型来执行序列标记。高斯过程(GPs)提供了一种贝叶斯方法来在基于内核的框架中学习。伪似然模型使人们能够捕捉长范围的依赖关系的输出组件的序列,而不会成为计算上棘手的。我们使用一个有效的变分高斯近似方法进行推理,在建议的模型。我们还提供了一个迭代算法,可以有效地利用来自相邻标签的信息来执行预测。捕获长程依赖的能力使得所提出的方法适用于广泛的序列标记问题。在序列标记数据集上的数值实验证明了该方法的有效性。
2016-09-21 cs.LG stat.ML
Likelihood-Free Inference with Deep Gaussian Processes
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
近年来,代理模型已成功地用于似然自由推理,以减少模拟器评估的数量。目前,这项任务的最先进的性能已经实现了贝叶斯优化与高斯过程(GP)。虽然这种组合对于单峰目标分布效果很好,但它限制了贝叶斯优化的灵活性和适用性,从而更普遍地加速了无可能性推理。我们提出了一个深度高斯过程(DGP)的代理模型,可以处理更多的不规则行为的目标分布来解决这个问题。我们的实验显示了DGP如何在具有多峰分布的目标函数上优于GP,并在单峰情况下保持相当的性能。这证实了DGP作为代理模型可以扩展贝叶斯优化的无似然推理(BOLFI)的适用性,同时增加计算开销,对于计算密集型模拟器来说仍然可以忽略不计。
2021-10-05 cs.LG stat.ML
Learning Gaussian Graphical Models With Fractional Marginal Pseudo-likelihood
University of Helsinki(赫尔辛基大学);Åbo Akademi University(奥博学术大学)
我们提出了一个贝叶斯近似推理方法来学习高斯图模型的依赖结构。使用伪似然,我们推导出一个分析表达式来近似的边缘可能性为任意的图形结构,而不调用任何假设的可分解性。大多数用于学习高斯图形模型的现有方法要么限于可分解的图,要么需要指定可能对学习结构产生重大影响的调谐参数。通过结合一个简单的稀疏诱导先验的图形结构与一个默认的参考先验的模型参数,我们得到了一个快速,易于应用的评分功能,即使是高维数据也能很好地工作。我们证明了我们的方法的良好性能,通过大规模的比较,对学习不可分解的高斯图形模型的领先方法。我们的方法提供了一个理论上的理由表明,它会产生一个相合估计量的图结构。
2016-02-25 cs.LG stat.ML
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们提出了一个下界的高斯过程回归模型的对数边际似然,可以计算没有矩阵分解的完整的内核矩阵。我们表明,近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处,同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项,以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化(例如变分法)和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中,与其他基于共轭梯度的方法相比,我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
高斯过程分类(GPC)提供了一个灵活而强大的描述函数空间上的联合分布的统计框架。然而,常规GPC遭受(i)由于完整的内核矩阵而导致的大数据的可扩展性差,以及(ii)由于非高斯似然性而导致的难以处理的推断。因此,已经提出了各种可扩展的GPC,通过(i)稀疏近似建立在一个小的诱导集,以减少时间复杂度;和(ii)近似推理,以获得分析证据下限(ELBO)。然而,这些配备分析ELBO的可扩展GPC受限于特定的可能性或额外的假设。在这项工作中,我们提出了一个统一的框架,可容纳可扩展的GPC使用各种可能性。类似于GP回归(GPR),我们引入加性噪声来增加概率空间(i)GPC与步骤,(多项式)probit和logit似然通过内部变量;特别是,(ii)GPC使用softmax似然通过噪声变量本身。这导致了统一的可扩展GPC与分析ELBO通过使用变分推断。从经验上看,我们的GPC比最先进的可扩展GPC在多达200万个数据点的广泛二进制/多类分类任务中表现出更好的结果。
2019-09-14 cs.LG stat.ML
Flow-Based Likelihoods for Non-Gaussian Inference
我们研究使用数据驱动的似然性来绕过许多科学分析中的一个关键假设,即数据的真实似然性是高斯的。特别是,我们建议使用基于流的生成模型的优化目标,这是一类可以通过非线性层转换简单基础分布来捕获复杂分布的模型。我们称之为基于流的似然性(FBL)。我们分析了在模拟高斯数据上重建的似然的准确性和精度,并表明简单地衡量从训练模型中提取的样本的质量并不能充分表明已经学习了真实的似然。然而,我们证明,可能性可以重建的精度等于由于有限的样本量的采样误差。然后,我们应用FBL模拟弱透镜收敛功率谱,宇宙学观测,显着非高斯(NG)。我们发现FBL非常好地捕获了数据中的NG签名,而其他常用的数据驱动的似然性,如高斯混合模型和独立分量分析,则无法做到这一点。这表明,在NG数据中发现具有数据驱动似然性的小后验偏移的工作可能低估了参数约束中非高斯性的影响。通过引入一套可以捕获数据中不同级别NG的测试,我们表明传统数据驱动的可能性的成功或失败可以与数据中NG的结构联系在一起。与其他方法不同,FBL的灵活性使其能够成功地同时处理不同类型的NG。正因为如此,以及它们在数据集和领域中的可能适用性,我们鼓励在有足够的模拟数据可用于训练时使用它们进行推理。
2020-11-06 astro-ph.CO physics.data-an stat.ML
Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出迭代高斯过程的暖启动边际似然优化方法,通过重用线性求解器解作为初始化,在回归任务上实现与传统方法相同结果且平均加速16倍。
2024-05-28 cs.LG stat.ML
Mixed Likelihood Variational Gaussian Processes
University of Pennsylvania(宾夕法尼亚大学);Meta Reality Labs;Meta
提出混合似然变分高斯过程,在单个证据下界中结合多个似然以联合建模多种类型数据,有效利用先验知识和用户置信度等辅助信息,提升了人在回路实验中的主动学习与偏好学习性能。
2025-03-06 cs.LG stat.ML
Numerical issues in maximum likelihood parameter estimation for Gaussian process interpolation
CNRS(法国国家科学研究中心);Univ. Paris-Saclay(巴黎萨克雷大学);Safran Aircraft Engines(赛峰飞机发动机公司)
本文探讨了高斯过程插值中最大似然参数估计的数值问题,并提出了改进现有开源实现的有效策略,以提高结果的可靠性和可重复性。
2021-07-27 cs.LG stat.CO stat.ML
Maximum Likelihood Estimates for Gaussian Mixtures Are Transcendental
高斯混合模型是经典统计学的核心,广泛应用于信息科学,并具有丰富的数学结构。我们检查他们的最大似然估计通过镜头的代数统计。MLE不是数据的代数函数,因此这些模型没有ML度的概念。似然函数的临界点是超越的,即使是两个单变量高斯的混合,它们的数量也没有限制。
2015-11-30 math.OC math.ST stat.TH
Composite likelihood estimation for a gaussian process under fixed domain asymptotics
本文研究了具有指数协方差函数的一维高斯过程在固定域渐近下的协方差参数估计问题。我们表明,加权成对最大似然估计的微遍历参数可以是一致的或不一致的。这取决于似然优化中的容许参数值的范围。另一方面,加权两两条件极大似然估计总是相容的。当它们是一致的时,这两个估计量也是渐近高斯的。它们的渐近方差大于或严格大于极大似然估计量的渐近方差。为了比较两两似然估计量的有限样本行为及其渐近分布,给出了一个模拟研究。对于更一般的协方差函数,对于方差参数的加权成对最大似然估计量,提供了一个附加的不一致结果。
2019-07-12 math.ST stat.TH
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Edinburgh(爱丁堡大学)
我们考虑贝叶斯推断时,只有有限数量的噪声对数似然评价可以得到。例如,当将复杂的基于模拟器的统计模型拟合到数据时,会发生这种情况,并且使用合成似然(SL)方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题,其中的对数似然函数建模与分层高斯过程(GP)代理模型,这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机,我们开发了各种批量顺序的设计策略,允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明,我们的方法是强大的,高度并行化,样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Integrated Gradient attribution for Gaussian Processes with non-Gaussian likelihoods
University of Bamberg(班贝格大学)
本文提出将 Integrated Gradient 可解释性方法应用于具有非高斯似然的 Gaussian Process 模型,提供解析与近似解,扩展了概率模型在复杂似然下的梯度解释能力。
2025-03-02 cs.LG stat.ML
Chained Gaussian Processes
University of Sheffield(谢菲尔德大学);Lancaster University(兰卡斯特大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
高斯过程模型是一种灵活的贝叶斯非参数回归方法。多变量高斯的性质意味着它们可以以加性模型的方式线性组合,并通过链接函数(如广义线性模型)来处理非高斯数据。然而,链接函数形式主义是限制性的,链接函数总是可逆的,并且必须将感兴趣的参数转换为潜在过程的线性组合。有许多可能性和模型,其中非线性组合更合适。我们将这些更一般的模型称为链式高斯过程:GP到似然参数的转换通常不是可逆的,这意味着线性化只可能有多个(局部)链接,即链。我们开发了一个近似的推理过程链GP是可扩展的,适用于任何因子分解的可能性。我们证明了一系列的似然函数的近似。
2016-04-18 cs.LG stat.ML
Local Maxima in the Likelihood of Gaussian Mixture Models: Structural Results and Algorithmic Consequences
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
我们提供了两个基本结果的人口(无限样本)似然函数的高斯混合模型与$M \geq 3$组件。我们的第一个主要结果表明,人口似然函数有坏的局部最大值,即使在特殊情况下,均匀加权混合分离和球形高斯。我们证明了这些坏的局部最大值的对数似然值可以任意比任何全局最优值更差,从而解决了Srebro(2007)的一个公开问题。我们的第二个主要结果表明,随机初始化的期望最大化算法(或它的一阶变体)将以至少$1-e^{-Ω(M)}$的概率收敛到坏的临界点。我们进一步建立了EM的一阶变体几乎肯定不会收敛到严格的鞍点,这表明一阶方法的性能差可以归因于存在坏的局部极大值,而不是坏的鞍点。总的来说,我们的研究结果强调了在实践中使用期望最大化算法时,即使在非常有利的设置中应用时,也需要仔细初始化。
2016-09-04 cs.LG math.OC stat.ML
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型,或更一般地说,高斯潜在森林模型具有费舍尔信息矩阵,该矩阵沿着有趣的子模型(即对应于子森林的模型)变得奇异。对于这些奇异点,我们计算真实的对数正则阈值(也称为随机复杂度或学习系数),这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息,最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下,真正的对数正则阈值可以使用多面体几何计算,我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中,我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
The Non-Gaussian Weak-Lensing Likelihood: A Multivariate Copula Construction and Impact on Cosmological Constraints
Institute for Particle Physics and Astrophysics, ETH Zurich(苏黎世联邦理工学院粒子物理与天体物理研究所)
提出用Copula方法构建两点相关函数的非高斯似然,在大尺度上比高斯似然更准确,但对Stage-IV巡天影响可忽略。
2026-06-17 astro-ph.CO astro-ph.IM physics.data-an
Strong consistency of pseudo-likelihood parameter estimator for univariate Gaussian mixture models
Institute of Mathematics and Statistics, University of Tartu(塔尔图大学数学与统计学院)
本文提出一种基于非参数密度估计和L2距离最小化的一元高斯混合模型参数估计新方法,构造伪似然函数并证明其估计量具有强相合性。
2025-10-16 math.ST stat.TH
Latent Gaussian process with composite likelihoods and numerical quadrature
Aalto University(阿尔托大学);HUS Helsinki University Hospital(赫尔辛基大学医院);University of Helsinki(赫尔辛基大学)
临床患者记录是高维数据的一个示例,其通常从不同的源收集并且包括具有噪声以及缺失值的多个可能性。在这项工作中,我们提出了一个无监督的生成模型,可以在潜在空间中的观察中学习低维表示,同时利用具有缺失值的异构数据设置中的所有可用数据。我们改进了现有的高斯过程潜变量模型(GPLVM),通过将多个似然和深度神经网络参数化后约束,创建一个非线性降维技术的异构数据。此外,我们开发了一个变分推断方法,我们的模型,使用数值积分。我们建立了我们的模型的有效性,并与现有的GPLVM方法在一个标准的基准数据集,以及在HUS赫尔辛基大学医院治疗的帕金森病患者的临床数据进行比较。
2021-04-20 cs.LG stat.AP stat.ML
Bayesian and Maximum Likelihood Estimation for Gaussian Processes on an Incomplete Lattice
本文提出了一种新的方法来估计大格点上具有缺失值的平稳高斯过程的贝叶斯和极大似然参数估计。我们提出了一个MCMC方法的贝叶斯推断,和极大似然推理的蒙特卡罗期望最大化算法。我们的方法使用数据增广和循环嵌入的协方差阵,并提供精确的推断参数和缺失数据。使用模拟数据和应用卫星海洋表面温度在太平洋,我们表明,我们的方法提供了准确的推断尺寸高达512 × 512的格子,并优于两个流行的方法:复合似然和谱近似。
2014-02-18 stat.CO stat.ME
Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架,在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows
University of Stuttgart(斯图加特大学)
最先进的人工智能的一个主要缺点是缺乏可解释性。解决这个问题的一种方法是考虑因果关系。因果机制可以用结构因果模型来描述。在这项工作中,我们提出了一种方法来估计双变量结构因果模型使用的组合的归一化流应用于密度估计和变分高斯过程回归后非线性模型。它有助于因果关系的发现,即通过原因和残差的独立性或似然比检验来区分因果关系。我们的方法估计后非线性模型可以更好地解释各种现实世界的因果对比一个简单的加性噪声模型。虽然它仍然很难利用这一优势,从蒂宾根基准数据库的所有对,我们证明了加性噪声模型的方法与我们的方法相结合,显着提高因果关系的发现。
2021-09-06 cs.AI cs.LG stat.ML
Convergence Guarantees for Gaussian Process Means With Misspecified Likelihoods and Smoothness
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
高斯过程在机器学习、统计学和应用数学中无处不在。他们提供了一个灵活的建模框架逼近函数,同时量化的不确定性。然而,只有当模型被很好地指定时,这才是正确的,而实际情况往往不是这样。本文研究了当模型的光滑性和似然函数被错误指定时,高斯过程均值的性质。在这种情况下,一个与实际相关的重要理论问题是,考虑到问题的难度、我们的模型和错误指定的程度,高斯过程近似的准确性如何。这个问题的答案是特别有用的,因为它可以告知我们的模型和试验设计的选择。特别是,我们描述了如何的试验设计和选择的内核和内核超参数可以适应,以减轻模型的误指定。
2021-05-18 cs.LG cs.NA math.NA
Asymptotic properties of the maximum likelihood and cross validation estimators for transformed Gaussian processes
高斯过程协方差参数估计的渐近分析一直是人们研究的热点。然而,这种渐近分析是非常罕见的非高斯过程。本文研究了一类由高斯过程的正则非线性变换得到的非高斯过程。我们提供了增加域渐近性质的(高斯)最大似然和交叉验证估计的协方差参数的非高斯过程的这一类。我们表明,这些估计是一致的,渐近正态的,虽然他们被定义为如果该过程是高斯。它们不需要对非线性变换进行建模或估计。因此,我们的结果可以被解释为(高斯)最大似然和交叉验证对非高斯的鲁棒性。我们的证明依赖于两个技术成果,这是独立的兴趣的空间过程的渐增域渐近文献。首先,我们表明,在温和的假设下,大的协方差阵的逆的系数衰减作为相应的观测位置距离的函数的逆多项式率。其次,我们给出了由变换高斯过程得到的二次型的一般中心极限定理。最后,通过数值模拟说明了我们的渐近结果.
2019-11-25 math.ST stat.TH
Likelihood Maximization and Moment Matching in Low SNR Gaussian Mixture Models
在低信噪比条件下,我们得到了具有相等协方差阵的高斯混合模型(GARCH)对数似然的渐近展开。该扩展揭示了两种类型的算法之间的密切联系参数估计:矩量法和似然优化算法,如期望最大化(EM)。我们表明,在低信噪比制度的似然优化减少到一个序列的最小二乘最优化问题,匹配的时刻的估计地面真理的时刻一个接一个。这种联系是一个垫脚石对EM和极大似然估计在广泛的模型分析。低信噪比混合模型的研究的一个激励应用是低温电子显微镜数据,它可以被建模为一个GMM与代数约束施加在混合中心。我们讨论了我们的扩展代数约束Gestival的应用程序,以及其他感兴趣的例子模型。
2020-06-26 math.PR math.ST stat.TH
Inverse Gaussian Process regression for likelihood-free inference
在这项工作中,我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归(IGPR),即,在该方法中,我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例,我们证明了IGPR与一些常用算法相比具有竞争力的性能,特别是在统计稳定性和计算效率方面,而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Existence of penalised likelihood estimates and posterior propriety of separable prior distributions for Gaussian precision matrices
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona School of Economics(巴塞罗那经济学院)
本文分析高维下高斯精度矩阵惩罚似然估计的存在性,给出确保其存在的惩罚函数条件,并拓展至贝叶斯场景,给出确保后验正则的可分离先验分布条件。
2026-08-21 math.ST stat.ME stat.TH
Warped Gradient-Enhanced Gaussian Process Surrogate Models for Exponential Family Likelihoods with Intractable Normalizing Constants
对于具有难以处理的归一化常数的指数族模型,例如交换算法,马尔可夫链蒙特卡罗方法需要在马尔可夫链的每次迭代中模拟充分统计量,这通常导致昂贵的计算。代理模型的似然函数已经开发,以加速推理算法在这种情况下。然而,这些替代模型往往是相对不灵活的,并且经常提供对真实似然函数的差的近似。在这篇文章中,我们提出了使用一个扭曲的,梯度增强,高斯过程代理模型的似然函数,联合模型的样本均值和方差的充分统计量,并使用翘曲函数捕获协方差非平稳性的输入参数空间。我们表明,考虑非平稳性和梯度信息的列入可以利用获得一个代理模型,优于传统的平稳高斯过程代理模型进行推断时,特别是在区域中的似然函数表现出相变。我们还表明,所提出的代理模型可以用来提高有效的样本量每单位时间嵌入精确推理算法时。我们的方法在加快推理算法的效用证明了模拟和真实世界的数据。
2023-02-20 stat.CO
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布,包括层析成像和地下水流中偏微分方程模型中的逆问题,由于评估数据可能性的计算成本很大,因此在计算上通常是棘手的。为了缓解这个问题,我们考虑使用高斯过程回归来建立一个代理模型的可能性,从而在近似的后验分布,是服从于实际计算。这项工作作为一个介绍高斯过程回归,特别是在建立代理模型的背景下,逆问题,并提出了新的见解到一个合适的选择训练点。我们发现,真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差,测量在$L^2$ -范数加权的真实后验,并有效地界定真实和近似的可能性之间的误差,在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
Efficient Optimization of the Likelihood Function in Gaussian Process Modelling
高斯过程(GP)模型是用于仿真计算上昂贵的计算机模拟器的流行的统计代理。GP模型拟合的质量可以通过基于优化似然的拟合优度度量来评估。寻找GP模型的似然函数的全局最大值通常非常具有挑战性,因为似然表面通常具有多个局部最优值,并且似然函数的梯度的显式表达式通常不可用。用于优化似然函数的先前方法(例如,MacDonald等人(2013))已被证明是稳健且准确的,尽管相对低效。我们提出了几种可能性优化技术,包括两种改进的多起点局部搜索技术,基于MacDonald等人(2013)实现的方法,同样可靠,而且效率更高。全局搜索算法划分矩形(DIRECT)与局部优化算法BFGS的混合提供了一个相当的GP模型质量的计算成本的一小部分,是优选的优化技术时,计算资源有限。我们使用几个测试函数和一个实际的油藏模拟应用程序来测试和比较所提出的方法与MacDonald等人(2013)在R库GPfit中实现的方法的性能。该方法在Matlab软件包GPMfit中实现。
2013-09-26 stat.CO
Composite likelihood inference of fractional Gaussian processes with sequentially optimal subset selection
ESILV;De Vinci Higher Education, De Vinci Research Center(德芬奇高等教育,德芬奇研究中心)
针对分数高斯过程,提出通过顺序最大化Godambe信息来选择子集,以平衡估计精度与计算成本,并推导了Fisher信息和Godambe信息的理论表达式。
2026-07-15 q-fin.ST stat.CO stat.ME
Bayesian Spatial Inversion and Conjugate Selection Gaussian Prior Models
本文在贝叶斯空间反演中引入了对给定似然函数的共轭先验模型的概念。先验模型的共轭类可以选择扩展,并且仍然保持共轭。我们证明了选择高斯先验模型的一般性,代表多模态,偏态和重尾。对于高斯线性似然函数,后验模型也是选择高斯的。后验概率密度函数的模型参数是似然模型和先验模型的模型参数的显函数,当然还有实际观测值。有效的算法模拟和预测的选择高斯后验概率密度函数的定义。基于空间变量的一个训练图像,通过极大似然准则和数值优化,可以可靠地推断选择高斯先验概率密度函数中的模型参数。最后,给出了一个地震反演实例,并发现了$ 20$ - $40\%$相对于传统高斯反演在预测均方误差方面的改进。
2018-12-05 stat.ME
Quasi likelihood analysis of point processes for ultra high frequency data
我们引入了一个点过程回归模型,该模型适用于价格模型和限价订单模型。将强度过程中的Hawkes型自回归推广到协变量过程的随机回归。我们建立了所谓的拟似然分析,它给出了统计随机场的多项式型大偏差估计。当强度过程在有限时间范围内变大时,我们得到了极大似然型估计和贝叶斯型估计的大样本性质。出现非遍历统计。一个经典的方法也提到。
2015-12-05 math.ST stat.TH
Joint likelihood calculation for intervention and observational data from a Gaussian Bayesian network
从转录组数据推断基因调控网络的方法学发展是一个活跃而重要的研究领域。已经提出了几种方法来推断基因之间的关系,从观察到的稳态表达数据,主要是基于使用图形高斯模型。然而,这些方法依赖于偏相关的估计,只能提供无向图,不能突出基因之间的因果关系。即将到来的一个主要挑战是联合分析观察转录组数据和通过敲除或敲低实验获得的干预数据,以揭示因果基因调控关系。为此,在本技术说明中,我们给出了高斯贝叶斯网络背景下任何复杂干预设计的似然函数的显式公式及其分析最大化。这允许直接计算已知图结构的因果效应。我们还展示了如何获得费舍尔信息在这种情况下,这将是非常有用的最佳干预设计的选择在未来。
2013-06-27 stat.AP
Comparing Scale Parameter Estimators for Gaussian Process Interpolation with the Brownian Motion Prior: Leave-One-Out Cross Validation and Maximum Likelihood
本文从理论上比较了高斯过程回归中留一交叉验证与最大似然估计在布朗运动核尺度参数估计上的表现,证明交叉验证对更广泛的真实函数具有渐近良好校准的置信区间,并提出适应性更强的内部交叉验证方法。
2025-08-21 math.ST stat.TH
Investigation of Parameter Uncertainty in Clustering Using a Gaussian Mixture Model Via Jackknife, Bootstrap and Weighted Likelihood Bootstrap
混合模型是基于模型聚类的一种常用工具。这种模型通常通过最大化似然的过程来拟合,例如期望最大化算法。在收敛时,通常报告极大似然参数估计值,但在大多数情况下,很少强调与这些估计值相关的变异性。这部分地可能是由于在模型拟合算法中不直接计算标准误的事实,或者因为不需要它们来拟合模型,或者因为它们难以计算。因此,基于模型的聚类中的标准误的检查通常被忽略。最近广泛使用的R包方法引入了bootstrap和加权似然bootstrap方法,以方便标准误估计。本文提供了一个经验比较这些方法(连同刀切法)产生的标准误和置信区间的混合参数。这些方法的说明和对比,在模拟研究和传统的老忠实的数据集和甲状腺数据集。
2019-07-22 stat.CO stat.ME
Max-and-Smooth: a two-step approach for approximate Bayesian inference in latent Gaussian models
对于现代高维数据,复杂的统计模型是必要的,需要计算上可行的推理方案。我们介绍最大和平滑,一个近似的贝叶斯推断计划的一个灵活的类潜在的高斯模型(LGM),其中一个或多个似然参数建模的潜在的加性高斯过程。Max-and-Smooth包含两个步骤。在第一步(Max)中,似然函数由高斯密度近似,其均值和协方差分别等于(a)最大似然估计和逆观测信息,或(b)归一化似然函数的均值和协方差。在第二步(平滑)中,推断潜参数和超参数,并使用近似的似然函数进行平滑。所提出的方法确保了第一步的不确定性被正确地传播到第二步。由于近似的似然函数是高斯的,所以LGM的潜在参数的近似后验密度(以超参数为条件)也是高斯的,从而有助于在高维中进行有效的后验推断。此外,超参数的近似边缘后验分布是易处理的,因此,超参数可以独立于潜在参数进行采样。在大量的独立数据复制,稀疏精度矩阵和高维潜在向量的情况下,与从精确的似然函数推断后验密度的MCMC方案相比,加速是显著的。所提出的推理方案上演示了一个空间参考的真实数据集和模拟数据模仿空间,时间和时空推理问题。我们的结果表明,最大和平滑是准确和快速的。
2020-02-14 stat.CO stat.ME
A quasi-Gaussian approximation for the probability distribution of correlation functions
上下文每当关联函数用于贝叶斯分析中宇宙学参数的推断时,需要知道关联函数的似然函数。通常,它被近似为多元高斯,尽管这不一定是一个很好的近似。目标。我们展示了如何计算一个更好的近似的概率分布的关联函数,我们称之为“准高斯”。方法.使用精确的单变量PDF以及先前导出的关联函数上的约束,我们将关联函数变换为高斯近似是合理的无约束变量。从变换空间中的这个高斯,我们得到准高斯PDF。将概率分布的两个近似值与从模拟中获得的“真实”分布进行比较。此外,我们测试如何使用时,作为一个玩具模型贝叶斯分析的可能性,新的近似执行。结果准高斯PDF同意非常好,从模拟中获得的PDF,特别是,它提供了一个显着更好的描述比一个简单的Copula方法。在一个简单的玩具模型似然分析中,它产生了明显不同于高斯似然的结果,表明它可能对宇宙学参数估计产生影响。
2013-07-04 astro-ph.CO math.ST stat.TH
Maximum Likelihood for Gaussian Process Classification and Generalized Linear Mixed Models under Case-Control Sampling
在不同领域的现代数据集通常包括从总体中非随机采样的单元,并且具有潜在的相关结构。在这里,我们研究了这种设置的一种常见形式,其中每个单元都与一个潜变量相关联,所有潜变量都是相关的,并且对单元进行采样的概率取决于其响应。这样的设置经常出现在病例对照研究中,其中采样单元由于空间接近、家庭关系或其他相关性来源而相关。从计算和统计的角度来看,这种情况下的极大似然估计都具有挑战性,需要考虑采样方案的近似值。我们提出了一个家庭的近似似然方法,结合复合似然和期望传播。我们通过大量的模拟证明了我们的解决方案的有效性。我们利用它们来研究病例对照遗传关联研究中收集的几种复杂疾病的遗传结构,其中每个人都测量了数十万种遗传变异,并且由于遗传相似性,个体的潜在疾病负债是相关的。我们的工作是第一个提供一个易于处理的基于似然的解决方案,病例对照数据与复杂的依赖结构。
2019-04-24 stat.ME
Data Analysis Recipes: Products of multivariate Gaussians in Bayesian inferences
两个高斯分布(或正态分布)的乘积是另一个高斯分布。这是一个有价值和有用的事实!在这里,我们使用它来推导多变量高斯的公共乘积的重构:高斯似然乘以高斯先验的乘积,其中一些或所有这些参数仅以平均值和线性方式进入似然。也就是说,线性高斯贝叶斯模型。这种可能性乘以先验概率密度函数的乘积可以重构为边缘化可能性(或贝叶斯证据)乘以后验概率密度函数的乘积,其中(在这种情况下)这两者也是高斯的。重构后的高斯的均值和方差张量可以直接作为封闭形式的表达式获得;在这里,我们提供这些表达式,并进行讨论。对于含有高斯先验的线性参数的推理,闭形式的表达式可以用来加速和提高精度。我们将这些方法与物理学和天文学中经常出现的推论联系起来。如果你想要的只是答案,这个问题在第3节的开头就已经提出并得到了回答。我们在第4节中以练习的形式展示了两个玩具例子。本说明中的解答、讨论和练习针对的是已经熟悉贝叶斯推断和概率的基本思想的人。
2020-05-28 astro-ph.IM physics.data-an stat.CO
Stochastic modelling of Gaussian processes by improper linear functionals
随机过程的各种方法存在,注意到关键属性,如可测性和连续性不是平凡的满足。我们引入一个新的理论高斯过程使用不当线性泛函。使用一组身份证。在标准正态变量的基础上,定义了高斯白噪声,并讨论了它的性质。这是推广到一般的高斯过程的希尔伯特空间,其中的方差是允许的任何合适的操作。我们的主要重点是$L^2$空间,我们讨论高斯过程是连续的,在这种设置的标准。最后,我们概述了一个框架,统计推断使用所提出的理论,重点是特殊情况下的$L^2[0,1]$。我们将弗雷德霍姆行列式引入到函数对数似然中。我们证明了朴素函数对数似然与多元似然不一致。引入了一个修正项,并证明了一个渐近结果。
2020-10-14 math.ST stat.ME stat.TH
Non-Gaussian Discriminative Factor Models via the Max-Margin Rank-Likelihood
我们考虑一般非高斯数据的判别因子分析问题。提出了一种基于数据秩的贝叶斯模型。我们首先引入秩似然的新版本{ \em max-margin}。一个判别因素模型,然后开发,集成的最大利润率秩似然和(线性)贝叶斯支持向量机,这也是建立在最大利润率原则。判别因子模型进一步扩展到{ \em非线性}的情况下,通过混合的局部线性分类器,通过Dirichlet过程。完全局部共轭的模型产生有效的推理与马尔可夫链蒙特卡罗和变分贝叶斯方法。在基准数据和真实数据上的大量实验证明了该模型的优越性能及其在计算生物学中的应用潜力。
2015-05-19 stat.ML
Likelihood approximations via Gaussian approximate inference
Australian National University(澳大利亚国立大学)
本文针对非高斯似然导致后验不可处理的问题,结合变分推断与变换基矩匹配构造高斯似然近似,在分类、大规模推断和流式任务中取得更优效果。
2024-10-28 cs.LG stat.ML
Accurate Kernel Learning for Linear Gaussian Markov Processes using a Scalable Likelihood Computation
ExxonMobil Research and Engineering Company(埃克森美孚研究与工程公司)
我们报告了一个精确的似然计算线性高斯马尔可夫过程,是更可扩展的复杂模型和稀疏采样信号比现有的算法。通过消除卡尔曼似然中的重复计算,并通过使用状态转移方程的对角化形式,实现了更好的缩放。使用这种有效的计算,我们研究了核学习的准确性,使用极大似然和后验均值在模拟实验中。具有参考先验的后验均值对于复杂模型和稀疏采样更准确。由于其较低的计算负荷,极大似然估计是一个有吸引力的选择,更密集的采样信号和低阶模型。我们确认估计行为的实验数据,通过他们的应用洞穴数据。
2018-05-18 cs.LG stat.ML
Efficient Graph-Based Active Learning with Probit Likelihood via Gaussian Approximations
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种新的适应主动学习基于图的半监督学习(SSL)下的非高斯贝叶斯模型。我们提出了一个近似的非高斯分布,以适应以前高斯为基础的采集功能,这些更一般的情况下。我们开发了一个有效的排名一更新应用“前瞻”为基础的方法,以及模型再培训。我们还介绍了一种新的“模型变化”采集功能的基础上,这些近似,进一步扩大了可用的收集主动学习采集功能的方法。
2020-07-21 cs.LG stat.ML
On the nonparametric maximum likelihood estimator for Gaussian location mixture densities with application to Gaussian denoising
本文研究了非参数最大似然估计(NPMLE)在$d$ -维中从独立观测值估计高斯位置混合密度的方法。与通常的基于似然的混合拟合方法不同,NPMLE基于凸优化。我们证明了有限样本结果的Hellinger精度的每一个NPMLE。我们的结果特别意味着,当真实密度是离散高斯混合物,并且没有任何有关混合分量数量的先验信息时,每个NPMLE都实现了接近参数风险(直至对数乘法因子)。在高斯去噪问题中,NPMLE可以自然地用于产生Oracle Bayes估计器的经验贝叶斯估计。我们证明的准确性的经验贝叶斯估计作为一个近似的Oracle贝叶斯估计的界限。在这里,我们的研究结果意味着,经验贝叶斯估计执行在聚类情况下去噪的最佳水平(对数乘法因子),没有任何先验知识的集群的数量。
2019-07-07 math.ST stat.CO stat.ML
A New Algorithm for Maximum Likelihood Estimation in Gaussian Graphical Models for Marginal Independence
University of Washington(华盛顿大学)
具有双向边()的图形模型<->表示边缘独立性:两个顶点之间没有边表明相应的变量是边缘独立的。本文研究了连续变量服从高斯联合分布(有时称为协方差图模型)的极大似然估计。我们提出了一个新的拟合算法,利用标准的回归技术,并建立其收敛性。此外,我们对比我们的程序,现有的估计方法。
2012-10-19 cs.LG stat.ME stat.ML
A Matrix--free Likelihood Method for Exploratory Factor Analysis of High-dimensional Gaussian Data
提出了一种新的剖面似然估计方法,用于估计高维高斯数据集的探索性因子分析中的协方差参数,其观测值小于变量数。隐式重新启动的Lanczos算法和有限内存拟牛顿法实现开发一个无矩阵的框架似然最大化。仿真结果表明,我们的方法是大大快于期望最大化的解决方案,而不牺牲精度。我们的方法适用于自杀未遂者,自杀意念者和对照组的数据拟合因子模型。
2019-11-10 q-bio.QM stat.AP stat.CO
Uniform Convergence Rates for Maximum Likelihood Estimation under Two-Component Gaussian Mixture Models
在方差不等的两分量位置-尺度混合高斯模型中,我们得到了极大似然估计的一致收敛性和参数估计的极小极大下界.我们假设混合物的混合比例是已知的和固定的,但没有对底层混合物组分进行分离假设。一个相变存在于最佳的参数估计率,取决于是否是平衡的混合物。我们分析的关键是仔细研究位置尺度高斯混合模型参数之间的依赖关系,通过多项式等式和不等式系统捕获,其解集驱动我们获得的速率。模拟研究说明了这项工作的理论研究结果。
2020-06-01 math.ST stat.ML stat.TH
Maximum likelihood thresholds of Gaussian graphical models and graphical lasso
本研究针对高维高斯图模型,考察用 graphical lasso 在 n 个样本上选择并拟合模型时,n 达到对应图最大似然阈值的概率,并通过计算实验给出结果。
2023-12-05 math.ST stat.ML stat.TH
Maximum likelihood estimation and uncertainty quantification for Gaussian process approximation of deterministic functions
尽管高斯过程回归模型无处不在,但很少有理论结果可以解释协方差核的参数通常需要从数据集估计的事实。本文提供了在高斯过程回归的背景下与无噪声数据集的第一个理论分析之一。具体来说,我们考虑的情况下,Sobolev内核(如Matérn内核)的尺度参数估计的最大似然。我们表明,极大似然估计的尺度参数单独提供了显着的适应对误指定的高斯过程模型在这个意义上,该模型可以成为“慢慢”过度自信在最坏的情况下,无论之间的差异的平滑度的数据生成函数和预期的模型。该分析是基于从非参数回归和分散的数据插值技术的组合。实证结果提供了支持的理论研究结果。
2020-05-11 cs.NA math.NA math.ST
Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed
University of Helsinki(赫尔辛基大学);Newcastle University(纽卡斯尔大学)
本文证明无噪声平稳高斯过程在用最大似然估计 lengthscale 时,预测分布对数据扰动不具 Hellinger-Lipschitz 连续性,从而首次严格揭示其不适定性。
2023-04-25 cs.LG math.ST stat.ML