Outlier-Robust Multi-Output Gaussian Processes
Econometric Institute, Erasmus University Rotterdam, The Netherlands(埃因霍温大学 Rotterdam 经济研究所);Department of Mathematics, University of Oslo, Norway(奥斯陆大学数学系);Department of Statistical Science, University College London, United Kingdom(伦敦大学学院统计学系)
本文针对多输出高斯过程(MOGP)易受离群值影响的问题,提出R-MOGP模型,该模型保留共轭性且计算效率高,实验显示其性能与现有最优鲁棒MOGP相当但成本更低。
2026-11-09 cs.LG stat.ML
Variational Learning on Aggregate Outputs with Gaussian Processes
University of Oxford(牛津大学);Imperial College London(伦敦帝国理工学院);Institute of Statistical Mathematics(统计数学研究所)
虽然典型的监督学习框架假设输入和输出是在相同的粒度级别上测量的,但许多应用,包括疾病的全球映射,只能访问比输入更粗的级别上的输出。产出的汇总使得推广到新的输入更加困难。我们考虑一种基于变分学习的方法来解决这个问题,该方法具有输出聚合和高斯过程的模型,其中聚合导致标准证据下限的难以处理。我们提出了新的边界和易于处理的近似,从而提高了预测精度和可扩展性的大型数据集,同时明确考虑到不确定性。我们开发了一个框架,扩展到几种类型的可能性,包括泊松模型的汇总计数数据。我们将我们的框架应用于一个具有挑战性的重要问题,即疟疾发病率的精细尺度空间建模,其中有超过100万个观测结果。
2018-05-22 cs.LG stat.AP stat.ME
Derivation of Output Correlation Inferences for Multi-Output (aka Multi-Task) Gaussian Process
Preferred Networks Inc.(Preferred Networks公司)
本文针对多任务高斯过程(MTGP)公式及其梯度推导不透明的问题,提供了清晰友好的推导过程,便于理解和应用。主要贡献在于填补文献空白,促进MTGP在贝叶斯优化等场景中的使用。
2025-07-10 cs.AI cs.LG stat.ML
Discriminative training for Convolved Multiple-Output Gaussian processes
多输出高斯过程(MOGP)是向量值函数上的概率分布,并且先前已用于多输出回归和多类分类。多输出高斯过程的一个较少探索的方面是,它可以用作模式识别背景下的向量值随机场的生成模型。作为生成模型,多输出GP能够处理具有连续输入的向量值函数,例如,与隐马尔可夫模型相反。它还提供了建模多维随机函数与高维输入的能力。在这份报告中,我们使用一个被称为最小分类误差的判别训练标准来拟合多输出高斯过程的参数。我们比较了MOGP的生成训练和区分训练在情感识别、活动识别和人脸识别方面的表现。我们还比较了所提出的方法对隐马尔可夫模型训练的生成和歧视的方式。
2015-02-07 stat.ML
Neural Likelihoods for Multi-Output Gaussian Processes
Uber AI Labs(优步人工智能实验室)
我们构造灵活的似然多输出高斯过程模型,利用神经网络作为组件。我们利用稀疏的变分推断方法,使可扩展的近似推理的模型类。这些模型的一个有吸引力的特点是,即使当可能性是非线性的,预测分布是非高斯的,他们可以承认分析预测手段。我们验证了这些模型的建模潜力在各种实验中的监督和无监督设置。我们证明了这些“神经”似然的灵活性,可以提高预测质量相比,更简单的高斯过程模型和神经似然可以很容易地结合各种潜在的高斯过程模型,包括深高斯过程。
2019-05-31 cs.LG stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge(剑桥大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Oxford(牛津大学);University of Exeter(埃克塞特大学)
提出高斯过程潜在因子回归(GPLFR)模型,通过将输出表示为低维潜在状态的线性高斯解码,联合优化压缩与预测,解决低数据高维输出回归问题,并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
Deep Intrinsic Coregionalization Multi-Output Gaussian Process Surrogate with Active Learning
本文提出深度内在共区域化多输出高斯过程代理模型deepICMGP,通过分层共区域化结构建模多输出间的非线性依赖,并结合主动学习优化序贯设计,在多输出系统模拟实验中表现优异。
2025-08-22 cs.LG stat.ML
Gaussian Process Regression for Probabilistic Short-term Solar Output Forecast
Fatemeh Najibi, Dimitra Apostolopoulou
随着对气候变化的日益关注,可再生资源如光伏(PV)作为一种能源产生手段已经得到普及。这些资源在电力系统运行中的平滑整合是通过精确的预测机制来实现的,该机制解决了这些资源固有的不稳定性和可变性。本文提出了一个概率框架来预测短期光伏发电量,考虑到天气的不确定性。为此,我们利用包括功率输出和气象数据(如辐照度、温度、天顶和方位角)的数据集。首先,我们使用k-means聚类根据太阳能输出和时间将数据分为四组。接下来,进行相关性研究,以选择在更大程度上影响太阳能输出的天气特征。最后,我们通过使用高斯过程回归和Matern 5/2作为核函数来确定将上述所选特征与太阳能输出相关联的函数。我们验证了我们的方法与五个太阳能发电厂在不同的位置,并与现有的方法的结果进行比较。更具体地说,为了测试所提出的模型,使用了两种不同的方法:(i)5倍交叉验证;和(ii)保持30个随机天作为测试数据。为了确认模型的准确性,我们在四个集群中的每个集群上应用我们的框架30次。平均误差遵循正态分布,在95%置信水平下,其取值范围为-1.6%至1.4%。
2020-02-23 cs.LG eess.SP stat.AP
Safe Active Learning for Multi-Output Gaussian Processes
Bosch Center for Artificial Intelligence(博世人工智能中心)
多输出回归问题是科学和工程中经常遇到的问题。特别是,多输出高斯过程已经成为一个有前途的工具,这些复杂的系统建模,因为它们可以利用固有的相关性,并提供可靠的不确定性估计。然而,在许多应用中,获取数据是昂贵的,并且可能会出现安全问题(例如机器人,工程)。提出了一种安全的多输出高斯过程回归的主动学习方法。该方法查询最具信息性的数据或输出,同时考虑回归量和安全约束之间的相关性。我们证明了我们的方法的有效性,通过提供理论分析,并通过模拟数据集和现实世界的工程数据集上展示的实证结果。在所有数据集上,与竞争对手相比,我们的方法显示出更好的收敛性。
2022-03-28 cs.LG stat.ML
Improving Output Uncertainty Estimation and Generalization in Deep Learning via Neural Network Gaussian Processes
我们提出了一个简单的方法,结合神经网络和高斯过程。该方法可以估计输出的不确定性,并在训练数据存在的情况下灵活地调整目标函数,这是高斯过程的优点。所提出的方法还可以实现高的泛化性能的未知输入配置,这是神经网络的一个优点。利用所提出的方法,神经网络被用于高斯过程的均值函数。我们提出了一个可扩展的随机推理过程,稀疏高斯过程的随机变分推断推断,神经网络和内核的参数估计的随机梯度下降方法,同时。我们使用两个真实世界的时空数据集,实验表明,该方法实现了更好的不确定性估计和泛化性能比神经网络和高斯过程。
2017-07-19 stat.ML
Indian Buffet process for model selection in convolved multiple-output Gaussian processes
多输出高斯过程作为一种将高斯过程的强大灵活性扩展到多个输出变量设置的自然机制,在过去几年中受到越来越多的关注。这里的关键点是设计核函数的能力,该核函数允许利用输出之间的相关性,同时满足协方差函数所需的正定性。构建这些协方差函数的替代方案是协区域化和过程卷积的线性模型。这些方法中的每一种都需要指定用于为输出构建协方差函数的潜在高斯过程的数量。在本文中,我们建议使用印度巴菲特过程作为一种方式来执行模型选择的数量的潜在高斯过程。这种类型的模型在潜力模型的背景下特别重要,其中潜力与物理量相关联,如蛋白质分布或机械系统中的潜力。我们使用变分推断来估计所涉及的变量的后验分布,并显示了人工数据,运动捕捉数据集和基因表达数据集的模型性能的例子。
2015-03-22 stat.ML
Regularized Multi-output Gaussian Convolution Process with Domain Adaptation
Peking University(北京大学);the University of Iowa(爱荷华大学)
本文提出带域自适应的正则化多输出高斯卷积过程框架,通过稀疏协方差矩阵惩罚项和输入域对齐方法,解决MGP迁移学习中的负迁移与输入域不一致问题,并在仿真和陶瓷制造案例中验证其优越性。
2024-09-04 cs.LG stat.AP stat.ML
Sparse Convolved Multiple Output Gaussian Processes
最近,人们对处理多个输出的方法越来越感兴趣。这在一定程度上是由多任务学习、多传感器网络或结构化输出数据等框架推动的。从高斯过程的角度来看,该问题简化为指定适当的协方差函数,该函数在半正定的同时捕获所有数据点之间以及所有输出之间的依赖性。一种解决输出之间的非平凡相关性的方法采用卷积过程。在卷积变换的潜函数解释下,我们建立输出变量之间的依赖关系。这种方法的主要缺点是相关的计算和存储需求。在本文中,我们解决这些问题。我们提出了不同的稀疏近似依赖输出高斯过程通过卷积形式主义。我们利用模型中自然存在的条件独立性。这导致了一种形式的协方差类似于精神上所谓的PITC和FITC近似的单一输出。我们展示了合成数据和真实数据的实验结果,特别是我们展示了污染预测,学校考试成绩预测和基因表达数据的结果。
2009-11-26 stat.ML
Large Linear Multi-output Gaussian Process Learning
高斯过程(GP),或连续域中任意函数的分布,可以推广到多输出的情况:一个线性模型的coregionalization(LMC)是一种方法。LMC估计并利用多个输出之间的相关性。虽然模型估计可以有效地执行单输出GP,这些假设平稳,但在多输出的情况下,互协方差相互作用是不稳定的。我们提出了大线性GP(LLGP),它通过在输出之间共享的输入的公共网格在LMC内核中诱导结构来规避对平稳性的需求,从而能够优化多维输出和低维输入的GP超参数。当应用于合成的二维和真实的时间序列数据时,我们发现我们相对于多输出GP的当前解决方案的理论改进是通过LLGP减少训练时间同时提高或保持预测平均精度来实现的。此外,通过使用直接似然近似而不是变分近似,模型置信度估计得到显着改善。
2017-10-23 stat.ML
Modeling Dependence Structures in Astronomical Multi-Band Time Series Data via Multi-Output Gaussian Processes
Pennsylvania State University(宾夕法尼亚州立大学);Seoul National University(首尔国立大学)
研究利用多输出高斯过程对天文多波段时间序列数据的依赖结构建模,提出基于协方差和潜在过程的互补公式,开发相关模型并应用于实际,为依科学目标选择依赖结构提供原则基础。
2026-10-28 astro-ph.IM stat.AP
GP-ALPS: Automatic Latent Process Selection for Multi-Output Gaussian Process Models
Invenia Labs(因维尼亚实验室);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
将高斯过程(GP)扩展到多个输出的一种简单且广泛采用的方法是将每个输出建模为共享的未观察到的潜在GP集合的线性组合。这种方法的一个问题是选择潜在进程及其内核的数量。这些选择通常是手动完成的,这可能很耗时,而且容易受到人为偏见的影响。我们提出了高斯过程自动潜在过程选择(GP-ALPS),它通过关闭那些对解释数据没有意义的过程来自动选择潜在过程。我们开发了一个变分推断计划,通过与金标准MCMC进行比较来评估变分后验的质量,并在一组初步实验中证明GP-ALPS的适用性。
2019-12-17 cs.LG stat.ME stat.ML
Hilbert space methods for approximating multi-output latent variable Gaussian processes
Technische Universität Dortmund(多特蒙德工业大学);University of Tübingen(蒂宾根大学);Universitätsklinikum Tübingen(蒂宾根大学附属医院)
本文提出了一种适用于多输出和潜在输入的希尔伯特空间方法,通过模拟展示其在速度和不确定性校准方面优于精确高斯过程。
2026-02-11 stat.ME
Multi-output Orthogonal Gaussian Processes for Noisy Simulator Outputs
Northwestern University(西北大学)
针对含噪模拟器输出的建模难题,提出多输出正交高斯过程MOOGP,通过定义正交性、构造协方差函数及结构化似然,在趋势恢复、数值实验与重离子碰撞模拟中展现出可解释性与预测优势。
2026-08-04 stat.CO stat.ME
Generalized Multi-Output Gaussian Process Censored Regression
Technical University of Denmark(丹麦技术大学)
当对删失观测建模时,当前回归方法中的典型方法是使用删失高斯(即Tobit)模型来描述条件输出分布。在本文中,在缺失数据的情况下,我们认为,利用多个输出之间的相关性,可以使模型更好地解决由删失数据引入的偏差。为此,我们引入了一个异方差多输出高斯过程模型,该模型结合了GP的非参数灵活性和在依赖于输入的噪声条件下利用相关输出信息的能力。为了解决由此产生的推理棘手,我们进一步设计了一个变分的边界适合于随机最优化的边际对数似然。我们根据经验评估我们的模型对其他生成模型的审查数据的合成和现实世界的任务,并进一步展示它如何可以推广到处理任意似然函数。结果表明,增加的灵活性如何使我们的模型能够更好地估计潜在的非删失(即真实)过程下潜在的复杂的删失动态。
2022-05-04 cs.LG stat.ML
Scalable Multi-Output Gaussian Processes with Stochastic Variational Inference
Department of Computer Science(计算机科学系);University of Manchester(曼彻斯特大学);Faculty of Biology, Medicine and Health(生物医学与健康学院)
针对潜变量多输出高斯过程(LV-MOGP)计算复杂度随输出数线性增长的问题,提出支持输入输出小批量训练的随机变分推理方法,实现训练迭代复杂度与输出数无关的可扩展MOGP建模。
2025-06-05 cs.LG stat.ML
Weakly-supervised Multi-output Regression via Correlated Gaussian Processes
University of Michigan(密歇根大学)
提出基于相关高斯过程的弱监督多输出回归模型,利用不完整组别标签或先验信念提升预测精度,在缺失标签场景表现优异并具公平推断潜力。
2022-05-23 cs.LG stat.ML
The Gaussian Process Autoregressive Regression Model (GPAR)
多输出回归模型必须利用输出之间的依赖关系,以最大限度地提高预测性能。将高斯过程(GP)应用于这种设置通常会产生计算要求高且代表性有限的模型。我们提出了高斯过程自回归回归(GPAR)模型,一个可扩展的多输出GP模型,能够捕获非线性,可能是输入变化,输出之间的依赖关系,在一个简单和易于处理的方式:产品规则是用来分解的联合分布的输出到一组条件,其中每个是由一个标准的GP建模。GPAR的功效在各种合成和现实世界的问题上得到了证明,表现优于现有的GP模型,并在既定的基准上实现了最先进的性能。
2019-02-25 stat.ML
Gap Filling of Biophysical Parameter Time Series with Multi-Output Gaussian Processes
1 Image Processing Laboratory (IPL). Universitat de Val\`encia, Spain. 2 Dep. Física de la Terra i Termodinàmica, Universitat de Val\`encia, Spain.
在这项工作中,我们评估多输出(MO)高斯过程(GP)模型的基础上的线性模型coregionalization(LMC)的生物物理参数变量估计下的间隙填充设置。特别是,我们专注于LAI和fAPAR水稻地区。我们展示了这个问题如何无法用标准的单输出(SO)GP模型来解决,以及所提出的MO-GP模型如何通过隐式地执行跨域信息传输,即使在高缺失数据制度下也能够成功地预测这些变量。
2020-12-11 cs.LG physics.data-an q-bio.QM
MOGPTK: The Multi-Output Gaussian Process Toolkit
Center for Mathematical Modeling Universidad de Chile(智利大学数学建模中心)
我们提出了MOGPTK,一个使用高斯过程(GP)进行多通道数据建模的Python软件包。该工具包的目的是使研究人员,数据科学家和从业者都可以访问多输出GP(MOGP)模型。MOGPTK使用Python前端,依赖于GPflow套件,并构建在TensorFlow后端上,从而实现GPU加速的训练。该工具包有助于实施全球定位系统建模的整个管道,包括数据加载、参数初始化、模型学习、参数解释,直至数据插补和外推。MOGPTK实现了文献中的主要多输出协方差内核,以及基于频谱的参数初始化策略。源代码、教程和示例(以Spreadyter笔记本的形式)以及API文档可以在http://github.com/GAMES-UChile/mogptk上找到
2020-02-09 cs.LG eess.SP stat.ML
Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes
无论是在多任务学习、多传感器网络还是结构化输出数据的幌子下,对多输出核方法的兴趣都在增加。从高斯过程的角度来看,多输出Mercer核是相关输出函数上的协方差函数。构造这种内核的一种方式是基于卷积过程(CP)。这种方法的一个关键问题是有效的推理。Alvarez和Lawrence(2009)最近提出了一种CP的稀疏近似,可以实现有效的推理。在本文中,我们在两个方向上扩展这项工作:我们引入变分诱导函数的概念来处理核CP构造中涉及的潜在非光滑函数,我们考虑基于变分方法的近似推理的替代方法,将Titsias(2009)的工作扩展到多输出情况。我们展示了我们的方法对预测的成绩,编译器的性能和金融时间序列。
2009-12-16 stat.ML
Permutation invariant multi-output Gaussian Processes for drug combination prediction in cancer
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计学单元);Oslo Centre for Biostatistics and Epidemiology (OCBE), University of Oslo(奥斯陆大学奥斯陆生物统计学与流行病学中心);Broad Institute of MIT & Harvard(麻省理工学院与哈佛大学博德研究所);CRUK Cambridge Centre Ovarian Programme(英国癌症研究剑桥中心卵巢项目);Cambridge Institute of Therapeutic Immunology and Infectious Disease (CITIID)(剑桥治疗免疫学与传染病研究所)
本文提出一种基于变分近似的排列不变多输出高斯过程模型,结合深度生成模型编码化学空间,用于癌症药物组合剂量-反应预测,实现可扩展性、不确定性量化和对新药物组合的预测能力。
2024-06-28 cs.LG q-bio.QM stat.AP
Estimation and model errors in Gaussian-process-based Sensitivity Analysis of functional outputs
Institut de Mathématiques de Toulouse, Université de Toulouse(图卢兹数学研究所,图卢兹大学);São Paulo State University “Júlio de Mesquita Filho” (UNESP)(圣保罗州立大学(朱利奥·德·梅斯基塔·菲略))
本文提出了一种基于高斯过程的高效算法,用于估计功能性输出灵敏度分析中的模型误差,通过减少基系数数量和向量化的PF估计,显著提高了计算效率。
2025-12-19 math.ST stat.AP stat.ME
Spectral Mixture Kernels for Multi-Output Gaussian Processes
Universidad de Chile(智利大学)
多输出高斯过程(MOGP)的早期方法依赖于独立的、潜在的、单输出高斯过程(GP)的线性组合。这导致交叉协方差函数具有有限的参数解释,从而与单输出GP理解长度尺度、频率和幅度的能力相冲突。相反,目前的方法MOGP能够更好地解释不同的通道之间的关系,通过直接建模的互协方差作为一个频谱混合内核与相移。我们扩展了这一基本原理,并提出了一个参数家庭的复值互谱密度,然后建立在Cramér定理(博克纳定理的多元版本),提供了一个原则性的方法来设计多元协方差函数。如此构造的内核能够建模通道之间的延迟,除了相位差,因此比以前的方法更有表现力,同时还提供跨通道的关系的完整参数解释。该方法首先验证合成数据,然后比较现有的MOGP方法在两个现实世界的例子。
2017-11-03 cs.LG stat.ML
An Improved Multi-Output Gaussian Process RNN with Real-Time Validation for Early Sepsis Detection
脓毒症是一种知之甚少且可能危及生命的并发症,可因感染而发生。早期发现和治疗可以改善患者的预后,因此它对医学提出了重要挑战。在这项工作中,我们开发了一个灵活的分类器,利用流式实验室结果,生命体征和药物来预测败血症发生之前。我们用多输出高斯过程对患者临床时间序列进行建模,保持患者生理状态的不确定性,同时也估算缺失值。平均函数考虑了给药对生理变量轨迹的影响。然后将来自高斯过程的潜在函数值馈送到深度递归神经网络中,以将患者遭遇分类为脓毒症或非脓毒症,并使用反向传播对整个模型进行端到端训练。我们训练和验证我们的模型上的18个月的异构住院病人从杜克大学健康系统的大数据集,并开发一个新的“实时”验证方案,模拟我们的模型的性能,因为它将实际使用。我们提出的方法大大优于临床基线,并改善了以前的相关模型检测败血症。我们的模型预测将显示在实时分析仪表板中,供脓毒症快速反应团队使用,以帮助检测和改善脓毒症的治疗。
2017-08-19 stat.AP stat.ME stat.ML
Bayesian nonparametric discontinuity design
Radboud University(拉德堡德大学)
准实验研究设计,如回归不连续性和中断的时间序列,允许在没有随机对照试验的情况下进行因果推断,代价是额外的假设。在本文中,我们使用贝叶斯模型比较和高斯过程回归提供了一个基于不连续性设计的框架,我们称之为“贝叶斯非参数不连续性设计”,或简称BNDD。BNDD解决了这种设计的大多数实现中的两个主要缺点:由于对所声称的效果的隐式条件作用而导致的过度自信,以及由于依赖过于简单化的回归模型而导致的模型错误。通过适当的高斯过程协方差函数,我们的方法可以检测任何阶的不连续性,并在频谱特征。我们演示了BNDD在模拟中的使用,并应用该框架来确定竞选政治职位对长寿的影响,荷兰所谓的历史幽灵边界对荷兰投票行为的影响,以及昆达里尼瑜伽冥想对心率的影响。
2021-12-14 cs.LG stat.ME stat.ML
Nonstationary multi-output Gaussian processes via harmonizable spectral mixtures
Universidad de Chile(智利大学)
多输出高斯过程的核设计问题近年来受到了广泛的关注。特别地,多输出光谱混合内核(MOSM)arXiv:1709.01298方法已经被称赞为通用模型,因为它扩展了其他方法,例如相关化的线性模型、内在相关化模型和交叉光谱混合。MOSM依赖于Cramér定理将功率谱密度(PSD)参数化为高斯混合,因此具有结构限制:通过假设PSD的存在,该方法仅适用于多输出稳态应用。我们开发了一个非平稳扩展MOSM提出家庭的和谐内核MOGP,一类内核,包含固定和绝大多数的非平稳过程。所提出的可协调内核的主要贡献在于,它们自动识别可能的非平稳行为,这意味着从业者不需要在平稳或非平稳内核之间进行选择。该方法首先在合成数据上进行验证,目的是说明我们方法的关键特性,然后将其与现有的MOGP方法在金融和脑电图两个真实环境中进行比较。
2022-02-18 cs.LG eess.SP stat.ML
Multi-Output Convolution Spectral Mixture for Gaussian Processes
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术学院);Institute for Computing and Information Sciences, Radboud University(拉德堡德大学计算与信息科学研究所);Faculty of Management, Science and Technology, Open University of The Netherlands(荷兰开放大学管理、科学与技术学院)
多输出高斯过程(MOGP)是高斯过程(GP)的扩展,用于同时预测多个输出变量(也称为通道,任务)。在本文中,我们使用卷积定理来设计一个新的内核MOGP,通过建模跨信道的依赖性,通过交叉卷积的时间和相位延迟分量在频谱域。得到的核称为多输出卷积光谱混合(MOCSM)核。合成和现实生活中的数据集上的大量实验结果表明,所提出的内核的优点和其最先进的性能。当考虑单通道时,MOCSM具有降低到众所周知的光谱混合(SM)核的理想性质。与最近推出的多输出频谱混合内核的比较表明,这是不是后者的内核,其中包含二次项,产生不良的尺度效应时,不同通道的频谱密度是非常接近或非常远离对方在频域中的情况。
2021-10-08 cs.LG stat.ML
Bayesian Alignments of Warped Multi-Output Gaussian Processes
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司);University of Bristol(布里斯托大学)
提出了一种基于潜在共享信息的时间序列非线性对齐贝叶斯建模方法。我们将该方法应用于现实世界中的问题,找到共同的结构,在传感器数据的风力涡轮机引入的潜在的和湍流的风场。所提出的模型允许任意对齐的输入和非参数的输出翘曲转换的意见。这产生了通过潜在生成过程连接的多个深度高斯过程模型。我们提出了一个有效的变分近似嵌套变分压缩的基础上,并展示了如何使用该模型来提取相关的时间序列之间的共享信息,恢复一个可解释的功能分解的学习问题。我们展示了两个风力涡轮机的人工数据集和真实数据的结果。
2018-05-23 cs.LG stat.ML
Fast Kernel Approximations for Latent Force Models and Convolved Multiple-Output Gaussian processes
Universidad Tecnológica de Pereira(佩雷拉理工大学);The University of Sheffield(谢菲尔德大学)
潜力模型是一个高斯过程,其协方差函数受微分算子的启发。这种协方差函数通过在与微分算子相关联的格林函数和与潜在函数相关联的协方差函数之间执行卷积积分来获得。在潜力模型的经典公式中,通过求解二重积分来解析地获得协方差函数,从而得到涉及不同类型的误差函数的数值解的表达式。结果,协方差阵计算是相当昂贵的,因为它需要评估这些误差函数中的一个或多个。在本文中,我们使用随机傅立叶特征来近似这些双重积分的解决方案,获得更简单的解析表达式,这样的协方差函数。我们使用常微分算子的实验结果,并提供了一个扩展,以建立卷积多输出高斯过程的一般核函数。
2021-04-19 cs.LG stat.ML
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes
该研究推导了宽极限下带高斯参数和Lipschitz激活的随机深度神经网络高斯逼近的新速率,证明其收敛快于中心极限定理的朴素结果,并将界用于贝叶斯后验的理论逼近。
2023-12-18 math.PR math.ST stat.ML
On Negative Transfer and Structure of Latent Functions in Multi-output Gaussian Processes
University of Michigan(密歇根大学)
本文在多输出高斯过程中定义了负迁移并推导了避免负迁移的必要条件,提出两种可扩展至任意大数据集的潜在函数结构,以在控制参数增长的同时避免负迁移并自动选择相关输出。
2020-04-06 cs.LG stat.ML
Variational Bayesian Inference for Hidden Markov Models With Multivariate Gaussian Output Distributions
University of Kassel(卡塞尔大学)
隐马尔可夫模型(HMM)已被用于许多时间序列分析或模式识别任务多年。HMM通常通过Baum-Welch算法进行训练,该算法可以被视为期望最大化(EM)算法的特殊变体。二阶训练技术,如概率模型的变分贝叶斯推理(VI),将概率模型的参数视为随机变量,并定义这些分布参数的分布,因此该技术的名称。VI也可以被视为EM算法的特殊情况。在本文中,我们将两者结合起来,并使用VI训练具有多元高斯输出分布的HMM。本文定义了HMM的新训练技术。基于一些案例研究的评价和与相关方法的比较是我们正在进行的工作的一部分。
2016-05-27 cs.LG stat.ML
Multivariate Gaussian and Student$-t$ Process Regression for Multi-output Prediction
向量值函数的高斯过程模型已被证明是有用的多输出预测。该模型的现有方法是将矩阵变量高斯分布重新表示为多元正态分布。虽然它在许多情况下是有效的,但重新公式化并不总是可行的,并且难以应用于其他分布,因为不是所有的矩阵变量分布都可以转换为相应的多变量分布,例如矩阵变量Student $-t$分布的情况。在本文中,我们提出了一个统一的框架,它不仅用于引入一个新的多元学生$-t$过程回归模型(MV-TPR)的多输出预测,但也重新制定的多元高斯过程回归(MV-GPR),克服了现有方法的一些局限性。MV-GPR和MV-TPR在这个统一的框架下都具有边缘似然和预测分布的封闭形式表达式,因此可以采用与常规GPR中使用的相同的优化方法。通过几个模拟和真实数据的例子说明了所提出的方法的实用性。特别是,我们通过经验验证MV-TPR对于所考虑的数据集具有优越性,包括空气质量预测和自行车租金预测。最后,所提出的方法被证明是在股票市场上产生有利可图的投资策略。
2019-01-06 stat.ML
Latent Function Decomposition for Forecasting Li-ion Battery Cells Capacity: A Multi-Output Convolved Gaussian Process Approach
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);University of Central Florida(中佛罗里达大学)
提出了一种基于潜函数分解的锂离子电池容量预测方法。该方法使用多输出高斯过程,这是一种用于多任务和迁移学习的生成式机器学习框架。MCGP将来自多个电池单元的可用容量趋势分解为潜在函数。然后在核平滑器上卷积潜在函数以重构和/或预测电池单元的容量趋势。该方法不仅具有较高的预测精度,还能提供预测的不确定性信息,并能捕捉不同电池单元容量趋势之间的非平凡互相关性。这两个优点使得所提出的MCGP成为使用电池组的应用的非常可靠和实用的解决方案。MCGP的推导和比较基准方法的实验锂离子电池数据。结果表明了该方法的有效性。
2019-07-19 cs.LG cs.SY eess.SP
Tensor-variate Gaussian process regression for efficient emulation of complex systems: comparing regressor and covariance structures in outer product and parallel partial emulators
本文系统发展张量变量高斯过程回归,统一外积与并行偏仿真器,并通过案例比较二者在矩阵输出下的协方差依赖结构与性能。
2025-02-14 stat.CO stat.ME
Effect Decomposition of Functional-Output Computer Experiments via Orthogonal Additive Gaussian Processes
针对函数输出黑箱计算机实验,本文提出FOAGP模型与正交加性核,实现无分布假设的数据驱动效应分解,并支持全局与局部敏感性分析。
2025-06-15 stat.ME stat.ML
Multi-output Gaussian Processes for Uncertainty-aware Recommender Systems
Siemens AG(西门子股份公司);German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Goethe University Frankfurt(法兰克福歌德大学)
推荐系统通常基于协同过滤方法设计,其中通过对用户和项目之间的交互进行建模来预测用户偏好。解决协同过滤任务的许多常见方法都是基于用户和项目的学习表示,包括简单的矩阵分解,高斯过程潜变量模型和基于神经网络的嵌入。虽然矩阵分解方法无法对非线性关系进行建模,但神经网络可以以前所未有的预测能力潜在地捕获这种复杂关系,并且具有高度可扩展性。然而,它们都不能对预测的不确定性进行建模。相比之下,基于高斯过程的模型可以生成预测分布,但不能扩展到大量数据。在这篇手稿中,我们提出了一种新的方法相结合的表示学习范式的协同过滤与多输出高斯过程的联合框架,以产生不确定性感知的建议。我们引入了一种有效的模型训练和推理策略,从而产生了一种模型,该模型可以扩展到非常大和稀疏的数据集,并在量化重建误差的经典度量方面实现了有竞争力的性能。除了准确预测用户偏好外,我们的模型还提供了有关该预测的有意义的不确定性估计。
2021-10-08 cs.LG stat.ML
Multi-Fidelity High-Order Gaussian Processes for Physical Simulation
University of Utah(犹他大学)
物理仿真的关键任务是求解离散域上的偏微分方程,这是一个代价高昂的问题。特别是,高保真解决方案比低保真解决方案昂贵得多。为了降低成本,我们考虑新的高斯过程(GP)模型,利用不同的精度的模拟例子来预测高维PDE解决方案的输出。现有的GP方法要么不能扩展到高维输出,要么缺乏有效的策略来集成多保真度的例子。为了解决这些问题,我们提出了多保真度高阶高斯过程(MFHoGP),它可以捕获输出之间和精度之间的复杂相关性,以增强解估计,并扩展到大量的输出。基于一种新的非线性coregionalization模型,MFHoGP传播基地在所有的异质性融合信息,并放置一个深矩阵GP优先于基权重捕捉跨异质性的(非线性)关系。为了提高推理的效率和质量,我们使用基分解来大大减少模型参数,分层矩阵高斯后验来捕获后验依赖性并简化计算。我们的随机变分学习算法成功地处理了数百万个输出,而无需额外的稀疏近似。我们展示了我们的方法在几个典型应用中的优势。
2020-06-08 cs.LG physics.comp-ph stat.ML
Non-stationary and Sparsely-correlated Multi-output Gaussian Process with Spike-and-Slab Prior
Peking University(北京大学);Shanghai Jiaotong University(上海交通大学);Tsinghua University(清华大学)
本文提出一种非平稳多输出高斯过程模型,通过时变核卷积和动态尖峰-厚板先验自动捕捉输出间的动态稀疏相关性,以缓解负迁移,并在高维时间序列和强化学习决策中验证其有效性。
2024-09-05 cs.LG cs.MA cs.SY
Near-Optimal Active Learning of Multi-Output Gaussian Processes
National University of Singapore(新加坡国立大学)
研究了多输出高斯过程模型的主动学习问题。与现有的工作相比,我们的主动学习问题不仅涉及选择要观察的信息量最大的采样位置,而且还涉及选择每个选定位置处的测量类型,以最小化预测不确定性(即,后验联合熵)。不幸的是,这样的熵准则在优化时在候选采样位置和所选观测的数量上的比例很差。为了解决这个问题,我们首先利用稀疏MOGP模型的共同结构,推导出一种新的主动学习标准。然后,我们利用我们的新标准,设计一个多项式时间近似算法,保证了一个常数因子近似的最佳的一组选定的意见,实现了一个宽松的形式的子模块属性。在真实数据集上的实验结果表明,该方法在MOGP和单输出GP模型的主动学习方面优于现有算法。
2015-11-24 cs.AI cs.LG stat.ML
A Fully Natural Gradient Scheme for Improving Inference of the Heterogeneous Multi-Output Gaussian Process Model
University of Sheffield(谢菲尔德大学)
最近的一个新的扩展多输出高斯过程处理异构的输出,假设每个输出有自己的似然函数。它使用一个向量值的高斯过程之前,联合建模所有似然的参数作为潜在的功能,从一个高斯过程与协区域化协方差的线性模型。通过引入点框架,该模型能够得到服从随机变分推断的易处理的变分界。尽管如此,变分参数和超参数之间的强调节负担了原始方法中使用的自适应梯度优化方法。为了克服这个问题,我们借用变分优化的思想,在超参数上引入探索性分布,允许通过完全自然的梯度优化方案与后验变分参数一起进行推理。此外,在这项工作中,我们引入了一个扩展的异构多输出模型,其潜在的功能是从卷积过程。我们表明,我们的优化方案可以实现更好的局部最优解具有更高的测试性能比自适应梯度方法,这两个线性模型的coregionalisation和卷积过程模型。我们还展示了如何通过随机变分推断使卷积模型可扩展,以及如何通过完全自然的梯度方案对其进行优化。我们比较了玩具和真实数据库的不同方法的性能。
2020-07-13 cs.LG stat.ML
Joint estimation of the predictive ability of experts using a multi-output Gaussian process
本文提出用多输出高斯过程联合建模多个专家在协变量条件下的局部预测能力,并通过幂变换与哈密顿蒙特卡洛加速推断,最终将学习到的联合预测能力用于线性池以预测华盛顿特区每日自行车使用量。
2024-02-12 stat.ME
Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks
INRIA Paris(巴黎法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);Università degli Studi di Pisa(比萨大学)
本文对随机高斯初始化的深度全连接神经网络,给出其输出分布与高斯过程之间二次Wasserstein距离的显式上界,定量刻画了隐藏层和输出层大小对高斯行为的影响,并恢复了宽极限下的分布收敛结果。
2023-09-22 cs.LG math.PR stat.ML
Multivariate Generalized Gaussian Process Models
我们提出了一个家庭的多元高斯过程模型的相关输出,假设的基础上,似然函数的一般形式的多元指数族分布(EFD)。我们将此模型表示为一个多元广义高斯过程模型,并推导出泰勒和拉普拉斯算法的近似推理的一般模型。通过实例化具有特定参数函数的EFD,我们获得了相关输出的两个新的GP模型(和相应的推理算法):1)用于角度回归的Von-Mises GP;和2)用于在多项式单纯形上回归的Dirichlet GP。
2013-11-02 stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Optimal Non-Asymptotic Edgeworth Expansions for Multivariate Neural Network Outputs
Department of Mathematics, University of Luxembourg(卢森堡大学数学系)
针对有限宽度全连接神经网络输出,利用任意阶 Edgeworth 展开逼近其与高斯极限的偏差,并给出总变差距离的上下界。
2026-05-22 cs.LG math.PR stat.ML
Constructing a simulation surrogate with partially observed output
针对带降维的高斯过程仿真代理模型需完整输出数据的问题,提出结合缺失值插补与协方差矩阵调整的新方法,可利用部分观测输出高效建模,在仿真和能量密度泛函模型校准案例中推理精度更优。
2023-04-19 stat.ME
Multi-Output Gaussian Processes for Crowdsourced Traffic Data Imputation
Technical University of Denmark (DTU)(丹麦技术大学);University of Washington(华盛顿大学);Massachusetts Institute of Technology (MIT)(麻省理工学院)
交通速度数据插补是数据驱动的交通分析的基本挑战。近年来,随着GPS设备的普及和广泛使用众包替代方案来收集交通数据,交通专业人员越来越多地将这些用户生成的数据用于许多分析,规划和决策支持应用。然而,由于数据收集过程的机制,众包交通数据(如探测车辆数据)非常容易丢失观测结果,因此准确的估算对于任何使用此类数据的应用程序的成功至关重要。在这篇文章中,我们提出了使用多输出高斯过程(GP)来模拟复杂的空间和时间模式的众包交通数据。虽然GPS的贝叶斯非参数形式主义允许我们对观测不确定性进行建模,但基于卷积过程的多输出扩展有效地使我们能够捕获附近路段之间的复杂空间依赖性。使用6个月的众包交通速度数据或“探测车数据”在哥本哈根的几个地点,所提出的方法是经验证明,显着优于流行的国家的最先进的插补方法。
2019-06-08 cs.LG stat.ML
Scalable Exact Inference in Multi-Output Gaussian Processes
University of Cambridge(剑桥大学);Invenia Labs(Invenia实验室);British Antarctic Survey(英国南极调查局);Alan Turing Institute(艾伦·图灵研究所);Aalto University(阿尔托大学);Microsoft Research(微软研究院)
多输出高斯过程(MOGP)利用GP的灵活性和可解释性,同时捕获跨输出的结构,这在例如时空建模中是期望的。MOGP的关键问题是它们的计算缩放$O(n^3 p^3)$,其在两个输入$n$的数量上是立方的(例如,时间点或位置)并输出$p$。出于这个原因,一类流行的MOGP假设数据围绕低维线性子空间,将复杂性降低到$O(n^3 m^3)$。然而,该成本在子空间$m$的维度中仍然是立方的,这对于许多应用来说仍然非常昂贵。我们建议使用一个充分统计量的数据,以加快推理和学习的MOGP与正交基地。该方法在实践中实现了$m$的线性缩放,允许这些模型缩放到大的$m$,而不牺牲显著的表现力或需要近似。这一进步开辟了广泛的现实世界的任务,并可以与现有的GP近似在一个即插即用的方式相结合。我们证明了各种合成和真实世界的数据集上的方法的有效性。
2020-07-17 cs.LG stat.ML