Evolutionary Inference for Function-valued Traits: Gaussian Process Regression on Phylogenies
Imperial College London(帝国理工学院);University of Manchester(曼彻斯特大学)
生物学数据对象通常具有以下两个特征:(i)它们是函数而不是单个数字或向量,以及(ii)它们由于系统发育关系而相关。在本文中,我们给出了一个灵活的统计模型,这样的数据,通过结合假设从遗传学与高斯过程。我们描述了它作为一个非参数贝叶斯先验分布的使用,无论是预测(放置后验分布的祖先的功能)和模型选择(比较进化率跨越一个遗传,或确定最有可能的遗传与观察到的数据一致)。我们的工作是综合性的,将流行的系统发育布朗运动和Ornstein-Uhlenbeck模型扩展到功能数据和贝叶斯推断,并将高斯过程回归扩展到遗传学。我们提供了一个简单的说明我们的方法的应用。
2012-08-03 cs.LG physics.data-an q-bio.QM
Exact Simulation of Noncircular or Improper Complex-Valued Stationary Gaussian Processes using Circulant Embedding
本文给出了一种模拟反常(或非循环)复值平稳高斯过程的算法。该技术利用最近开发的方法,从循环嵌入文献的多元高斯过程。该方法可以在$\mathcal{O}(n\log_2 n)$操作中执行,其中$n$是期望序列的长度。该方法是准确的,除非指定的循环矩阵的特征值是负的。我们评估经验的算法的性能,并提供了一个实际的例子,该方法是保证是准确的所有$n$,与一个不适当的分数高斯噪声过程。
2017-03-15 stat.CO stat.ME stat.ML
Nonnegativity-Enforced Gaussian Process Regression
University of Iowa(爱荷华大学);Lehigh University(理海大学)
高斯过程(GP)回归是一种灵活的非参数方法来近似复杂的模型。在许多情况下,这些模型对应于具有有界物理性质的过程。标准GP回归通常会导致代理模型对于所有时间或空间点都是无界的,因此可能会出现不可行的值。我们提出了一种方法来执行的物理约束下的概率的GP回归框架。此外,这种新方法减少了所得GP模型的方差。
2020-04-07 cs.LG stat.ML
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield(谢菲尔德大学);Department of Computer Science(计算机科学系);Sheffield, UK(英国谢菲尔德)
本文介绍了一种近似高斯过程回归的方法,将问题表示为随机微分方程,并利用变分推理来近似解。的近似值进行比较,与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明,该方法很容易扩展到非线性动力学和讨论的扩展,该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals
University of Toronto(多伦多大学)
高斯过程(GP)回归模型通常假设残差为高斯分布,并且所有观测的方差相同。然而,与输入相关的噪声(异方差残差)的应用程序经常出现在实践中,因为这样的应用程序中的残差不具有高斯分布。在本文中,我们提出了一个GP回归模型与潜变量,作为一个额外的未观察到的协变量的回归。这个模型(我们称之为GPLC)允许异方差,因为它允许函数相对于这个未观察到的协变量具有变化的偏导数。通过合适的协方差函数,我们的GPLC模型可以处理(a)具有输入依赖方差的高斯残差,或(b)具有输入依赖方差的非高斯残差,或(c)具有恒定方差的高斯残差。我们使用合成数据集将我们的模型与Goldberg,Williams和Bishop(1998)提出的模型进行比较,我们称之为GPLV,它只处理情况(a),以及只能处理情况(c)的标准GP模型。针对这两个模型开发了马尔可夫链蒙特卡罗方法。实验表明,当数据是异方差的,GPLC和GPLV给出更好的结果(较小的均方误差和负对数概率密度)比标准GP回归。此外,当残差为高斯时,我们的GPLC模型通常与GPLV一样好,而当残差为非高斯时,我们的GPLC模型优于GPLV。
2012-12-26 cs.LG stat.ML
Dealing with Categorical and Integer-valued Variables in Bayesian Optimization with Gaussian Processes
Universidad Autónoma de Madrid(马德里自治大学)
贝叶斯优化(BO)方法可用于优化计算昂贵、缺乏解析表达式并且其计算可能被噪声污染的函数。这些方法依赖于目标函数的概率模型,通常是高斯过程(GP),在其上建立采集函数。获取函数指导优化过程并测量在新点处执行目标评估的预期效用。GP假设连续输入变量。当情况不是这样时,例如当一些输入变量采用分类或整数值时,必须引入额外的近似。考虑一个建议的输入位置,在实数行中取值。在对目标进行评估之前,一种常见的方法是对分类变量使用独热编码近似,或者在整数值变量的情况下四舍五入到最接近的整数。我们表明,这可能会导致优化过程中的问题,并描述了一个更有原则的方法来考虑输入变量是分类或整数值。我们在合成和真实的实验中说明了我们的方法的实用性,它显着提高了标准BO方法的结果,使用高斯过程的问题与分类或整数值变量。
2018-05-22 cs.LG stat.ML
Latent Gaussian Process Regression
University of Bristol(布里斯托大学);University of Bath(巴斯大学)
我们介绍了潜在的高斯过程回归,这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量,用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法,并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Tensor Regression Meets Gaussian Processes
Caltech(加州理工学院);University of Southern California(南加州大学)
低秩张量回归是一种从数据中学习高阶相关性的新模型,近年来受到了广泛的关注。同时,高斯过程(GP)是结构学习的机器学习模型。在本文中,我们展示了两者之间有趣的联系,特别是对于多路数据分析。我们表明,低秩张量回归本质上是学习高斯过程中的多线性核,低秩假设转化为约束贝叶斯推理问题。我们证明了预言不等式,并推导出等价GP模型的平均情况学习曲线。我们的发现意味着,低秩张量回归,虽然经验上是成功的,是高度依赖于协方差函数的特征值以及变量的相关性。
2017-10-31 cs.LG stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时,估计对数边际似然。我们提出了一种方法,自适应地选择计算量估计时使用的对数边际似然,使目标函数的偏差是保证很小。虽然简单的原则上,我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University(奥托-弗里德里希大学)
在构建贝叶斯机器学习模型时,我们可能会面临多个不同的先验分布,因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索,但对于复杂的机器学习问题,开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性,高斯过程是解决这一任务的良好候选者。因此,我们扩展了高斯过程回归的混合模型的思想,以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外,我们考虑使用我们的方法,另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架,利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维,通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Locally Smoothed Gaussian Process Regression
EURECOM(欧洲通信学院)
提出了一种新的加速高斯过程回归(GPR)的框架.特别是,我们考虑在每个数据点的本地化内核,以降低来自其他数据点的贡献,是遥远的,我们得出的GPR模型源于这样的本地化操作的应用程序。通过一组实验,我们证明了所提出的方法相比,完整的GPR,其他本地化模型,和深高斯过程的竞争力的性能。至关重要的是,这些性能获得了相当大的加速比,由于本地化操作引起的Gram矩阵的稀疏化效果的标准全球GPR。
2022-10-18 cs.LG stat.ML
Consistency of some sequential experimental design strategies for excursion set estimation based on vector-valued Gaussian processes
本文扩展了逐步不确定性减少序贯设计的一致性结果至向量值高斯过程,澄清了连续高斯过程与高斯测度的联系,并应用于极值集估计的不确定性泛函。
2023-10-11 math.PR math.ST stat.ML
Parametric Gaussian Process Regression for Big Data
Brown University(布朗大学)
这项工作介绍了参数高斯过程(PGP)的概念,这是建立在看似自相矛盾的思想,使高斯过程参数。参数高斯过程,通过构造,被设计为在“大数据”制度中操作,其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断,一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Gaussian Process Regression Networks
我们引入了一个新的回归框架,高斯过程回归网络(GPRN),它结合了贝叶斯神经网络的结构特性与高斯过程的非参数灵活性。该模型适应于多个响应变量之间的输入依赖信号和噪声相关性、输入依赖长度尺度和幅度以及重尾预测分布。我们推导出有效的马尔可夫链蒙特卡罗和变分贝叶斯推理程序,这个模型。我们应用GPRN作为多输出回归和多变量波动模型,在基准数据集(包括1000维基因表达数据集)上,与8个流行的多输出(多任务)高斯过程模型和3个多变量波动模型相比,表现出显著改善的性能。
2011-10-19 q-fin.ST stat.ME stat.ML
A Gaussian Process Regression Model for Distribution Inputs
Monge-Kantorovich距离,也称为瓦瑟斯坦距离,作为概率分布的强大差异度量,在统计学和机器学习中受到越来越多的关注。在本文中,我们专注于预测的高斯过程指标的概率分布。为此,我们提供了一个家庭的正定内核使用基于距离的运输。我们提供了一个概率的理解,这些内核和相应的随机过程的特征。我们证明了高斯过程的分布对应于这些内核索引可以有效地预测,高斯过程建模开辟了新的视角。
2018-01-29 math.PR stat.ML
Robust and Conjugate Gaussian Process Regression
University College London(伦敦大学学院)
针对高斯过程回归中观测噪声假设过强导致推断不可靠的问题,提出利用广义贝叶斯推断实现几乎无额外成本的鲁棒且共轭的高斯过程回归(RCGP),在保持闭式更新的同时提升鲁棒性。
2024-06-03 cs.LG stat.ML
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
本文提出在高斯过程回归批量主动学习中利用导数信息,并借助预测协方差矩阵选择批次,理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures
为了更好地恢复历史海表温度,建立一个良好的校正模型是非常重要的。基于异方差高斯过程(GP)回归方法,提出了一种新的烯酮模型(${\rm{U}}_{37}^{\rm{K}'}$)。我们的非参数方法不仅处理的变量模式的噪声在SST,但也包含一个贝叶斯方法分类潜在的离群值。
2019-12-18 stat.AP stat.ML
Quantum assisted Gaussian process regression
Singapore University of Technology and Design(新加坡科技设计大学);University of Oxford(牛津大学);National University of Singapore(新加坡国立大学)
高斯过程(GP)是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人,物理修订信函103,150502(2009)]可以应用于高斯过程回归(GPR),在某些情况下导致计算时间的指数减少。我们表明,即使在某些情况下不理想地适合量子线性系统算法,多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
Optimal transport for vector Gaussian mixture models
Stony Brook University(石溪大学)
向量值高斯混合分布是向量值分布的一个重要的特殊子集。一般来说,向量值分布构成物理实体的自然表示,其可以在分布在给定空间中的替代表现形式之间变异或过渡。一个重要的例子是彩色图像。在这篇笔记中,我们向量化的高斯混合模型,并研究了几个不同的最优质量输运相关的问题,这样的模型。使用矢量高斯混合物进行最佳质量输运的好处包括计算效率和保持结构的能力。
2022-11-09 cs.LG math.OC math.PR
Splitting Gaussian Process Regression for Streaming Data
University of Washington(华盛顿大学)
高斯过程为回归提供了灵活的核方法。虽然高斯过程具有许多有用的理论性质,并已被证明在实际中是有用的,但它们在观测数量上的缩放性很差。特别地,更新标准高斯过程模型的立方时间复杂度使得它们通常不适合应用于流数据。我们提出了一种算法,用于顺序划分输入空间和拟合局部高斯过程的每个不相交的区域。该算法被证明具有优越的时间和空间复杂性,现有的方法,其顺序的性质允许应用到流数据。该算法构造了一个模型,其更新的时间复杂度由一个预先指定的参数严格限制。据我们所知,该模型是第一个达到线性记忆复杂度的局部高斯过程回归模型。证明了模型的理论连续性。我们证明了所得到的模型对流数据的多维回归任务的有效性。
2020-10-06 cs.LG stat.ME stat.ML
Fast and exact simulation of complex-valued stationary Gaussian processes through embedding circulant matrix
研究了模拟平稳复值高斯序列的嵌入循环矩阵方法。该方法,特别是,被证明是非常适合于生成圆对称平稳高斯过程。给出了复协方差函数的简单条件,保证了最小嵌入循环矩阵方法的理论有效性。我们证明了这些条件是满足许多例子,并说明了算法。特别是,我们提出了一个模拟研究涉及的圆对称分数布朗运动,本文介绍的模型。
2016-04-01 math.ST stat.TH
Vector-Valued Gaussian Processes and their Kernels on a Class of Metric Graphs
针对度量图上向量值高斯随机场核研究匮乏的问题,本文构建可复合的矩阵值度量与半正定核条件,重点填补了欧氏树上ℓ₁度量相关多元核的研究空白,给出紧支撑矩阵值协方差函数类。
2025-01-17 math.ST stat.TH
Simultaneous Transformation and Rounding (STAR) Models for Integer-Valued Data
我们提出了一个简单而强大的框架来建模整数值数据,如计数,分数和四舍五入的数据。数据生成过程由同时变换和舍入(STAR)定义,这是一个连续值过程,它产生一个灵活的整数值分布族,能够对零通货膨胀、有界或删失数据以及过度或欠分散进行建模。变换被建模为未知的,以获得更大的分布灵活性,而舍入操作确保了一致的整数值数据生成过程。一个有效的MCMC算法的后验推理,并提供了一个机制,成功的贝叶斯模型和算法的适应连续数据的整数值的数据设置。使用STAR框架,我们为整数值数据设计了一个新的贝叶斯加性回归树(BART)模型,该模型对合成数据和大型医疗保健利用数据集都具有令人印象深刻的预测分布准确性。对于可解释的基于回归的推理,我们开发了一个STAR加性模型,它比现有的整数值模型提供了更大的灵活性和可扩展性。STAR加性模型被应用于研究亚马逊河海豚最近的下降。
2019-09-03 stat.AP stat.CO stat.ME
Using Gaussian process regression for efficient parameter reconstruction
光学散射测量是一种测量表面上周期性微米或纳米结构的尺寸和形状的方法。为此,通过数值模拟再现实验测量结果,得到的结构的几何参数。我们比较贝叶斯优化的性能,不同的局部最小化算法,这个数值优化问题。贝叶斯优化使用高斯过程回归来找到有希望的参数值。我们研究如何预先计算的模拟结果可以用来训练高斯过程,并加快优化。
2019-03-28 physics.comp-ph physics.data-an stat.ML
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中,我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界,可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的,也可以获得最佳的收敛速度。作为副产品,我们也得到了收敛速度的核岭回归与错误指定的核函数,其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的,这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
On the inability of Gaussian process regression to optimally learn compositional functions
University of Oxford(牛津大学);Imperial College London(帝国理工学院);University of Twente(特文特大学)
我们严格证明,如果目标函数具有组合结构,则深度高斯过程先验可以优于高斯过程先验。为此,我们研究了连续回归模型中高斯过程回归后验收缩率的信息论下界。我们表明,如果真函数是一个广义的加性函数,然后后基于任何均值为零的高斯过程只能恢复真理的速度是严格慢于极大极小率的一个因素,是多项式次优的样本量$n$。
2022-09-27 cs.LG math.ST stat.ML
Bayesian bandwidth estimation for a nonparametric functional regression model with mixed types of regressors and unknown error density
在误差密度未知的框架下,研究了具有函数值、连续实值和离散值回归变量的非参数函数回归模型的带宽估计问题.从Shang(2013,Computational Statistics & Data Analysis)的最近工作扩展,我们通过残差的核密度估计来近似未知误差密度,其中回归函数由允许混合类型回归变量的函数Nadaraya-Watson估计器估计。在核形式误差密度下,推导了带宽参数的核似然和后验密度,提出了一种同时估计带宽的贝叶斯带宽估计方法。仿真研究表明,所提出的贝叶斯方法的回归函数和误差密度的估计精度。以食品质量控制中的光谱数据集为例,我们应用贝叶斯方法来选择具有混合类型回归变量的非参数函数回归模型中的最佳带宽。
2014-03-08 stat.CO stat.ME
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
IV regression with distribution-valued outcomes
University of Michigan(密歇根大学);CESifo
提出IV Fréchet回归(IVFR),一种针对结果为整个分布的工具变量方法,通过2-Wasserstein空间中的IV回归扩展全局Fréchet回归以处理内生协变量,并证明投影减少估计误差、保证有效拟合分布,且估计量弱收敛到高斯过程。
2026-05-27 econ.EM math.ST stat.ME
Functional Gaussian processes for regression with linear PDE models
在本文中,我们提出了一个新的统计方法的问题,将实验观察到的数学模型描述的线性偏微分方程(PDE),以改善预测的物理系统的状态。我们增加了线性偏微分方程的功能,占数学模型中的不确定性,并建模为{ \em高斯过程}。这就产生了一个随机偏微分方程,其特征在于高斯功能。我们开发了一个{ \em函数高斯过程回归}方法来确定高斯泛函的后验均值和协方差,从而求解随机偏微分方程,获得我们预测的物理状态的后验分布。我们的方法具有以下特点,区别于其他回归方法。首先,它将数学模型和观测值合并到回归过程中。其次,它可以处理以场变量的线性泛函形式给出的观测值。第三,该方法是非参数的,在这个意义上,它提供了一个系统的方法来最佳地确定高斯函数的先验协方差算子的基础上的观察。第四,它提供了后验分布,量化了我们对物理状态的预测中的不确定性的大小。我们提出的数值结果来说明这些功能的方法,并比较其性能的标准高斯过程回归。
2014-05-29 math.AP math.PR stat.CO
Invariances of random fields paths, with applications in Gaussian Process Regression
本文研究了中心随机场的路径不变性,它可以通过协方差来控制。一个结果,涉及复合算子在二阶设置,我们表明,各种路径属性,包括加性归结为协方差核的不变性。这些结果被扩展到更广泛的一类运营商在高斯的情况下,通过Loève等距。几个协方差驱动的路径不变性的说明,包括对称路径,中心路径,谐波路径,或稀疏路径的字段。所提出的方法提供了一些有前途的结果和前景的高斯过程回归。
2013-08-06 math.PR math.ST stat.ME
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology(代尔夫特理工大学);Uppsala University(乌普萨拉大学)
本文提出一种在线稀疏高斯过程回归算法,解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足,实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Gaussian Process Regression under Computational and Epistemic Misspecification
本文提出统一理论框架,分析低秩、协方差稀疏及精度稀疏等核近似在高斯过程回归中的插值误差,并兼顾核参数的认知误设。
2024-10-03 cs.NA math.NA math.ST
Semi-parametric Bayes Regression with Network Valued Covariates
越来越多的人认识到大脑网络作为精神健康和精神病学研究中的神经影像学生物标志物的作用。我们的重点是创伤后应激障碍(PTSD),其中大脑网络以复杂的方式与环境暴露相互作用,以推动疾病进展。寻求表征临床表型与脑网络中的整个边缘集之间的关系的现有线性模型可能过于简单化,并且通常涉及导致计算负担和不准确估计的膨胀的参数数量。在第一个这样的努力之一,我们开发了一种新的两阶段贝叶斯框架,找到一个节点特定的低维表示的网络使用潜在规模的方法在第一阶段,然后使用一个灵活的高斯过程回归框架预测涉及的潜在规模和其他补充协变量在第二阶段。所提出的方法放松了线性假设,解决了维数灾难,并可扩展到高维网络,同时保持在网络的节点级别的可解释性。从我们的激励PTSD应用程序的广泛的模拟和结果显示了竞争的线性和非线性方法的预测和覆盖方面的明显优势,所提出的方法。
2019-10-09 stat.ME
Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归,其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的,并且是从数据中学习的,以及后验均值和协方差。我们在经验贝叶斯的框架下工作,其中使用数据计算超参数的点估计,然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析,(i)适用于任何要仿真的连续函数$f$;(ii)表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响,并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题,我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University(哈佛大学)
我们引入了约束高斯过程(CGP),这是一种用于随机函数的高斯过程模型,可以轻松地放置数学约束(例如,非负性、单调性等)。CGP具有封闭形式的密度函数(PDF),其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外,我们表明,CGP固有的高斯过程的最佳理论属性,例如后验收缩率,由于事实上,CGP是一个高斯过程,具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法,用于在非参数回归模型中调整高斯过程的尺度。我们表明,所有的方法导致后收缩率,适应真正的回归函数的平滑度。此外,我们还证明了当真实回归函数满足一定的外推条件时,相应的可信集覆盖了该函数。这个条件取决于具体的方法,但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Gaussian Process Regression constrained by Boundary Value Problems
Sandia National Laboratories(桑迪亚国家实验室)
我们开发了一个框架,高斯过程回归约束的边值问题。该框架可以应用于推断一个适定的边值问题的解决方案与一个已知的二阶微分算子和边界条件,但只有分散的观测源项。在回归中也可以使用解的分散观测值。该框架结合了协同克里金与高斯过程的线性变换,并使用了由边界值问题的特征函数中的谱展开给出的核。因此,它受益于协方差矩阵的降秩属性。我们证明,所得到的框架产生更准确和稳定的解决方案的推理相比,物理知情的高斯过程回归没有边界条件的约束。
2020-12-22 cs.LG cs.NA math.NA
Moving Taylor Bayesian Regression for nonparametric multidimensional function estimation with possibly correlated errors
我们提出了一个非参数的方法来估计的值和几个衍生物的未知的,足够光滑的实值函数的实值参数从一个有限的样本点,其中函数参数和相应的值是已知的,只有测量误差具有一些假设的分布和相关结构。该方法,移动泰勒贝叶斯回归(MOTABAR),使用贝叶斯更新,以找到泰勒多项式的函数在一个移动的位置的系数的后验均值。当忽略测量误差时,MOTABAR成为一种多元插值方法。它包含几个著名的回归和插值方法作为特殊或极限情况。我们证明了MOTABAR的性能使用的Lorenz吸引子从噪声观测的重建作为一个例子。
2012-04-12 physics.data-an stat.ME
On Kernels and Covariance Structures in Hilbert Space Gaussian Processes
提出了算子值正定核的全面框架,并将其应用于算子理论的膨胀构造与随机过程,开发了新的Hilbert空间值高斯过程并研究其协方差结构。
2025-10-31 math.FA math.PR math.ST
Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure
近似算法在许多工程问题中有着广泛的应用。为了获得近似的数据集,经常使用析因实验设计。在这种情况下,数据集的大小可能非常大。因此,最流行的近似算法之一-高斯过程回归-由于其计算复杂性而几乎不能应用。本文提出了析因试验设计下高斯过程回归的一种新方法。它允许有效地计算精确的推理和处理大型多维数据集。该算法提供了快速和准确的近似,也处理各向异性数据。
2014-07-03 math.ST stat.ME stat.TH
Generalized Gaussian Process Regression Model for Non-Gaussian Functional Data
本文提出了一个广义高斯过程并发回归模型,其中函数响应变量为二项分布、Poisson分布或其它非高斯分布,协变量为混合函数和标量变量。该模型为多维协变量函数数据提供了一种非参数广义并发回归方法,并为重复观测函数数据的均值结构和协方差结构同时建模提供了一个自然的框架.均值结构提供有关观测的总体信息,而协方差结构可用于捕捉每个单独批次的特征。协方差核的先验规范使我们能够适应广泛的非线性模型。讨论了该模型的定义、推导和实现,以及它的渐近性质。几个不同的非高斯响应变量的数值例子。一些技术细节和更多的数值例子,以及模型的扩展作为补充材料。
2014-01-31 stat.ME
Scalar-on-Image Regression via the Soft-Thresholded Gaussian Process
这项工作的重点是标量图像回归的空间变量选择。提出了一类新的贝叶斯非参数模型--软阈值高斯过程,并给出了有效的后验计算算法。从理论上讲,软阈值高斯过程提供了大量的空间变化的系数,享受分段平滑,稀疏性和连续性,表征成像数据的重要特征的先验支持。此外,在一些温和的正则条件下,软阈值高斯过程导致后验一致性的参数估计和变量选择的标量图像回归,即使当真正的预测的数量是大于样本量。所提出的方法是通过模拟说明,与现有的替代品的数值比较,并施加到脑电图(EEG)研究酒精中毒。
2016-04-12 math.ST stat.ME stat.TH
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法,其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看,所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式,并指定条件的先验,这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Wrapped Gaussian Process Functional Regression Model for Batch Data on Riemannian Manifolds
本文针对黎曼流形上的批量函数型数据,提出一种同时估计均值与协方差结构的包裹高斯过程并发回归模型,以刻画流形值响应与欧氏协变量间的非线性关系,并在模拟与真实数据上验证了其有效性。
2024-09-05 stat.ME
Temporal Gaussian Process Regression in Logarithmic Time
Aalto University(阿尔托大学)
针对时间高斯过程(GP)回归问题,提出了一种新的并行化方法。该方法允许在对数O(log N)时间内解决GP回归问题,其中N是时间步长的数量。我们的方法使用的状态空间表示的GP,在其原始形式允许线性O(N)时间GP回归利用卡尔曼滤波和平滑方法。通过使用最近提出的贝叶斯滤波器和平滑器的并行化方法,我们能够降低时间GP回归问题的线性计算复杂性为对数跨度复杂性。这确保了当在诸如图形处理单元(GPU)的并行硬件上运行时的对数时间复杂度。我们通过我们的开源实现利用GPflow框架在模拟和真实数据集上实验性地展示了计算的好处。
2021-05-17 cs.LG stat.CO stat.ME
Spatial postprocessing of ensemble forecasts for temperature using nonhomogeneous Gaussian regression
统计后处理技术通常用于提高数值天气预报集合的技能。本文考虑了空间扩展的成熟的非齐次高斯回归(NGR)后处理技术的表面温度和最近的修改,其中当地的气候是包括在回归模型的局部自适应后处理。在比较研究中,采用21小时的COSMO-DE集合预测系统在德国的预测,两种方法建模的空间预测误差相关性被认为是:一个参数高斯随机场模型和合奏copula耦合的方法,利用空间秩相关结构的原始合奏。此外,NGR方法进行了比较,无论是单变量和空间版本的集合贝叶斯模型平均(BMA)后处理技术。
2014-06-30 stat.AP
Interpolation error of misspecified Gaussian process regression
插值误差是回归模型在感兴趣的域上的平方误差的积分。本文研究了高斯过程回归中的插值误差:所用的协方差函数与真实的协方差函数不同。我们推导出一个无限网格实验设计的插值误差。特别是,我们表明,对于Matern 1/2协方差函数的参数估计差,只有轻微影响插值的质量。然后,我们进行数值实验,考虑最常见的协方差函数,包括其他Matern和平方指数协方差函数的误设定。对它们来说,参数估计的质量影响插值误差。
2018-03-26 math.ST stat.TH
Graph-Valued Regression
无向图形模型在图$G$中编码随机向量$Y$的依赖性结构。在许多应用中,在给定另一个随机向量$X$作为输入的情况下对$Y$建模是有意义的。我们把估计以$X=x$为条件的$Y$的图$G(x)$的问题称为“图值回归”。在本文中,我们提出了一种半参数方法来估计$G(x)$,该方法在$X$空间上建立一棵树,就像在CART(分类和回归树)中一样,但在树的每个叶子上估计一个图。我们称这种方法为“图优化的CART”或Go-CART。我们研究了基于二元划分树的Go-CART的理论性质,建立了关于风险最小化和树划分一致性的预言不等式。我们还演示了Go-CART在气象数据集上的应用,展示了图值回归如何为分析复杂数据提供有用的工具。
2010-06-21 stat.ME stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research(IBM研究院);Istituto Italiano di Tecnologia(意大利理工学院)
本文提出了一个通用的矩阵值多核学习框架,用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化,包括那些诱导稀疏性,被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法,编排两个不精确的求解器,同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序,我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题,从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充,理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
Complex-Valued Kernel Methods for Regression
University of Seville(塞维利亚大学);University Carlos III de Madrid(马德里卡洛斯三世大学)
通常,复值RKHS是实值情况的直接应用。在本文中,我们证明了这个过程产生一个有限的解决方案回归。我们证明了另一个内核,这里表示为伪内核,需要学习复值域中的任何函数。因此,我们推导出一种新的RKHS,广泛的RKHS(WRKHS)。当伪核取消时,WRKHS减少到以前方法的复值RKHS。我们解决了内核和伪内核的设计,注意内核和伪内核是复值的。在实验中,我们报告显着的改进,在简单的情况下,实部和虚部有不同的相似关系,对于给定的输入或实部和虚部相关的情况下。在这些新的结果的背景下,我们重新审视非线性信道均衡的问题,表明WRKHS有助于设计更有效的解决方案。
2016-10-31 cs.LG stat.ML