Gaussian Process-Gated Hierarchical Mixtures of Experts
本文提出高斯过程门控分层混合专家模型(GPHMEs),采用基于随机特征的高斯过程构建门控与专家,通过变分推断优化,在降低复杂度的同时优于基于树的HME基准,并为深度GPs提供可解释性。
2024-03-03 cs.LG stat.ML
Enriched Mixtures of Gaussian Process Experts
University of Warwick(华威大学);University of Edinburgh(爱丁堡大学)
专家的混合将输入空间概率性地划分为区域,其中每个专家或条件模型的假设仅需要在局部保持。结合高斯过程(GP)专家,这将产生一个功能强大且高度灵活的模型。我们专注于GP专家的替代混合物,其明确地模拟输入和目标的联合分布。我们强调这种方法在多维输入空间中的问题,即可扩展性差,需要大量的专家,降低预测性能,增加不确定性。我们构建了一个新的模型来解决这些问题,通过一个嵌套的分区方案,自动推断在这两个级别的组件的数量。通过广义GP框架容纳多种响应类型,而通过因子化指数家族结构包括多种输入类型。我们证明了我们的方法在估计一个简约的概率描述的合成数据的维数增加和阿尔茨海默氏症的挑战数据集的有效性。
2019-05-30 cs.LG stat.ML
Mixtures of Gaussian process experts based on kernel stick-breaking processes
the University of Melbourne(墨尔本大学)
提出基于核stick-breaking过程的高斯过程专家混合模型,改进门控函数,提升预测性能,并用切片采样实现后验计算,在六个数据集上验证效果。
2023-05-05 cs.LG stat.ML
Healing Products of Gaussian Processes
University College London(伦敦大学学院);University of Johannesburg(约翰内斯堡大学);University of the Witwatersrand(金山大学)
高斯过程(GP)是一种非参数贝叶斯模型,已被应用于回归和分类问题。减轻其立方训练成本的方法之一是使用在数据子集上训练的本地GP专家。特别是,专家产品模型通过一个易于处理的产品操作结合了当地专家的预测分布。虽然这些专家模型允许大规模分布式计算,但它们的预测通常会受到平均值或未校准不确定性量化的不稳定行为的影响。通过校准预测通过回火softmax加权,我们提供了一个解决方案,这些问题的多个产品的专家模型,包括广义产品的专家和强大的贝叶斯委员会机。此外,我们利用最佳运输文献,并提出了一个新的产品的专家模型,结合当地专家的预测,通过计算他们的Wasserstein重心,这可以应用于回归和分类。
2021-02-14 cs.LG stat.ML
Semi-parametric Expert Bayesian Network Learning with Gaussian Processes and Horseshoe Priors
National University of Singapore(新加坡国立大学);Harvard University(哈佛大学)
该研究提出带线性约束的半参数专家贝叶斯网络学习模型,结合高斯过程与差异化尺度马蹄先验引入少量非线性,可生成多样适配用户输入的图,在合成及UCI肝病数据集上性能优于现有半参数贝叶斯网络模型。
2024-01-29 cs.LG stat.ML
Correlated Product of Experts for Sparse Gaussian Process Regression
Università della Svizzera italiana (USI)(提契诺大学);University of Limerick (UL)(利默里克大学)
高斯过程(GP)是机器学习和统计学中的重要工具,其应用范围从社会科学和自然科学到工程学。它们构成了一个功能强大的核化非参数方法,具有校准良好的不确定性估计,然而,现成的GP推理程序仅限于具有数千个数据点的数据集,因为它们的立方计算复杂性。出于这个原因,在过去的几年中已经开发了许多稀疏GPS技术。在本文中,我们专注于GP回归任务,并提出了一种新的方法的基础上聚合预测从几个本地和相关的专家。因此,专家之间的相关程度可以在独立专家到完全相关的专家之间变化。考虑到专家的个人预测的相关性,将其汇总,从而得出一致的不确定性估计。我们的方法恢复独立的专家产品,稀疏GP和全GP在极限情况下。该框架可以处理一个通用的核函数和多个变量,并具有一个时间和空间的复杂度是线性的专家和数据样本的数量,这使得我们的方法具有高度的可扩展性。我们展示了优越的性能,在时间与精度的意义上,我们提出的方法对国家的最先进的GP近似方法的合成以及几个现实世界的数据集与确定性和随机最优化。
2021-12-17 cs.LG stat.ML
Meta-Weighted Gaussian Process Experts for Personalized Forecasting of AD Cognitive Changes
Massachusetts Institute of Technology(麻省理工学院);Imperial College London(帝国理工学院)
我们引入了一种新的个性化高斯过程专家(pGPE)模型,用于预测每个受试者的ADAS-Cog 13认知评分-认知领域中阿尔茨海默病(AD)的重要预测因子-在未来6,12,18和24个月内。首先,我们使用基础高斯过程(GP)回归,使用来自先前观察到的受试者的多模态数据来训练人口水平模型。然后,我们通过使用域自适应GP,并通过训练特定于主题的GP,随着时间的推移,将基础GP顺序地适应于新的(目标)主题,来个性化此模型。虽然我们表明,这些模型在选择性地应用于预测任务时实现了更好的性能(在不同的主题/访问中,一个模型比另一个模型表现得更好),但每个模型的平均性能是次优的。为此,我们在建议的pGPE中使用了元学习的概念来设计这些专家模型的基于回归的权重,其中专家权重针对每个受试者及其未来的访问进行了优化。来自ADNI数据集的一组受试者的结果表明,这种新引入的专家模型的个性化加权在准确预测未来ADAS-Cog 13评分及其与AD进展相关的细粒度变化方面有了很大的改进。这种方法有可能帮助早期识别高危患者,并改善AD临床试验的建设。
2019-04-19 cs.LG stat.ML
Personalized Risk Scoring for Critical Care Patients using Mixtures of Gaussian Process Experts
University of California, Los Angeles(加州大学洛杉矶分校);David Geffen School of Medicine, University of California, Los Angeles(加州大学洛杉矶分校大卫·格芬医学院)
我们开发了一个个性化的实时的风险评分算法,提供及时和粒度评估的基础上,他们的(时间)实验室检查和生命体征的病房患者的临床急性。通过分层潜在类模型捕获患者群体的异质性。所提出的算法的目的是发现潜在的类在患者人群中的数量,并训练混合高斯过程(GP)的专家,其中每个专家模型的生理数据流与特定的类。自学迁移学习用于将从临床稳定患者的域学到的潜在类的知识迁移到临床恶化患者的域。对于新患者,计算所有全科医生专家对患者生理数据流的临床状态的后验信念,并将个性化风险评分评估为这些信念的加权平均值,其中权重是从患者的入院信息中学习的。在加州大学洛杉矶分校罗纳德里根医学中心收治的6,313名患者的异质队列中进行的实验表明,我们的风险评分优于目前部署的风险评分,如MEWS和Rothman评分。
2016-05-03 cs.LG stat.ML
Fast Deep Mixtures of Gaussian Process Experts
NVIDIA(英伟达);University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出用DNN门控网络选择稀疏GP专家,并借助CCR单遍算法快速近似MAP估计,在精度、不确定性量化和高维大数据效率上优于竞争方法。
2023-12-01 cs.LG stat.ML
Mixtures of Gaussian Process Experts with SMC$^2$
Department of Electrical Engineering and Automation(艾尔沃斯大学电气工程与自动化系);Aalto University(艾尔沃斯大学);School of Engineering Sciences(工程科学学院);LUT University(卢托大学);School of Mathematics(数学学院);University of Edinburgh(爱丁堡大学);Department of Mathematics(数学系);University of Manchester(曼彻斯特大学)
针对高斯过程计算复杂度高、内存占用大的问题,提出基于嵌套序贯蒙特卡洛采样器的推断方法,可同时推断门控网络与专家参数,提升非平稳场景下的推断效果且支持并行。
2025-10-03 cs.LG stat.CO stat.ML
Deep Structured Mixtures of Gaussian Processes
TU Graz(格拉茨工业大学);OFAI(奥地利人工智能研究所);TU Eindhoven(埃因霍温理工大学);University of Cambridge(剑桥大学)
高斯过程(GP)是一种功能强大的非参数贝叶斯回归模型,允许精确的后验推理,但具有较高的计算和内存成本。为了提高GP的可扩展性,经常采用近似后验推理,其中一类突出的近似技术是基于本地GP专家的。然而,到目前为止提出的本地专家技术要么没有很好的原则,有限的近似保证,或导致棘手的模型。在本文中,我们引入了GP专家的深度结构化混合物,这是一种随机过程模型,i)允许精确的后验推理,ii)具有吸引人的计算和内存成本,iii)当用作GP近似时,捕获预测不确定性始终优于以前的基于专家的近似。在各种实验中,我们表明,深度结构的混合物具有较低的近似误差,并且通常具有竞争力或优于先前的工作。
2020-04-26 cs.LG stat.ML
Generalized Product of Experts for Automatic and Principled Fusion of Gaussian Process Predictions
University of Toronto(多伦多大学)
在这项工作中,我们提出了一个广义产品的专家(GPoE)框架相结合的多个概率模型的预测。我们确定了四个理想的属性是重要的可扩展性,表现力和鲁棒性,学习和推断与多个模型的组合时。通过分析和实验,我们证明了高斯过程(GP)的gPoE具有这些品质,而没有其他现有的组合方案同时满足所有这些品质。由此产生的GP-gPoE是高度可扩展的,因为单个GP专家可以独立地并行学习;非常有表现力,因为专家组合的方式取决于输入而不是固定的;组合预测仍然是具有自然解释的有效概率模型;并且最终对来自单个专家的不可靠预测具有鲁棒性。
2015-11-24 cs.AI cs.LG stat.ML
Online Algorithm for Aggregating Experts' Predictions with Unbounded Quadratic Loss
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对带无界二次损失的专家预测在线聚合问题,提出一种基于专家损失指数重加权、无需预先知道损失上界的在线聚合算法。
2025-01-11 cs.LG
Gaussian Process Domain Experts for Model Adaptation in Facial Behavior Analysis
Imperial College London(帝国理工学院);University of Twente(特文特大学)
我们提出了一种新的方法,监督域适应的基础上高斯过程(GP)的概率框架。具体来说,我们引入特定领域的GP作为本地专家的面部表情分类从人脸图像。分类器的自适应以概率的方式通过调节多个源专家的目标专家来促进。此外,与现有的适应方法相比,我们还从现有的目标数据中学习目标专家。然后,一个单一的和有信心的分类器是通过组合的预测,从多个专家的基础上他们的信心。该模型的学习是有效的,不需要重新训练/重新加权的源分类器。我们评估所提出的方法对两个公开的数据集多类(MultiPIE)和多标签(DISFA)的面部表情分类。为此,我们执行两个语境因素的适应:“在哪里”(视图)和“谁”(主题)。我们在我们的实验中表明,所提出的方法始终优于源和目标分类器,同时使用少至30个目标的例子。它还优于最先进的监督域自适应方法。
2016-05-02 cs.CV cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Gaussian Material Synthesis
TU Wien(维也纳工业大学);KAUST(阿卜杜拉国王科技大学)
我们提出了一个基于学习的系统,快速大规模的材料合成,是有用的新手和专家用户一样。用户偏好通过高斯过程回归来学习,并且可以很容易地进行采样以获得新的推荐。通常,使用全局光照渲染每个建议需要40-60秒,这使得此过程对于真实世界的工作流不切实际。我们的神经网络通过实时的提供高质量的图像预测来消除这一瓶颈,之后可以从图库中挑选所需的材料,并以直观的方式将其分配给场景。针对迪士尼“原则性”着色器的工作流计时显示,我们的系统可以很好地扩展所需材料的数量,从而使即使是新手用户也可以在没有任何材料建模专业知识的情况下生成数百个高质量的材料模型。类似地,专家用户在使用材质填充场景时会体验到总建模时间的显著减少。此外,我们提出的解决方案还提供了可控的建议和一个新的潜在空间变量生成步骤,以实现材料的实时微调,而不需要任何领域的专业知识。
2018-04-23 cs.LG stat.ML
Learning Deep Mixtures of Gaussian Process Experts Using Sum-Product Networks
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);Graz University of Technology(格拉茨工业大学);University of Cambridge(剑桥大学)
虽然高斯过程(GP)是回归任务的首选方法,但它们也有实际困难,因为推理成本在时间上是三次方,在内存中是二次方。在本文中,我们介绍了一种自然和表达的方式来解决这些问题,通过将GP的和积网络(SPN),最近提出的易处理的概率模型,允许准确和有效的推理。特别是,通过使用GP作为SPN的叶子,我们获得了一种新的灵活的先验函数,它隐含地表示了指数级大的混合本地GP。在这个模型中,精确和有效的后验推理可以在GP和SPN中的推理机制的自然相互作用中完成。因此,每个GP--类似于混合专家模型方法--仅负责数据点的子集,这以分而治之的方式有效地降低了推理成本。我们表明,将GP集成到SPN框架中会产生一个有前途的概率回归模型,该模型具有以下特点:(1)计算和内存效率高,(2)允许有效和精确的后验推理,(3)足够灵活,可以混合不同的核函数,(4)自然地考虑时间序列中的非平稳性。在一系列实验中,我们证明了SPN-GP模型可以学习依赖于输入的参数和超参数,并且与传统的GP以及对真实世界数据的最先进的近似值相当或优于传统的GP。
2018-09-12 cs.LG stat.ML
Ensemble of Sparse Gaussian Process Experts for Implicit Surface Mapping with Streaming Data
Örebro University(厄勒布鲁大学)
创建地图是机器人技术中的一项重要任务,为有效的规划和导航提供了基础。在本文中,我们学习一个紧凑的和连续的隐式表面地图的环境从一个流的范围数据与已知的姿态。为此,我们创建并逐步调整近似高斯过程(GP)专家的集合,每个专家负责地图的不同部分。而不是将所有到达的数据插入到GP模型中,我们在模型复杂度和预测误差之间进行了很好的权衡。因此,我们的算法在具有很少几何特征的区域上使用更少的资源,而在环境丰富多样的区域上使用更多的资源。我们在合成和真实世界的数据集上评估我们的方法,并分析对参数和测量噪声的敏感性。结果表明,我们可以学习紧凑和准确的隐式曲面模型在不同的条件下,性能相当或优于精确GP回归与子采样数据。
2020-02-12 cs.LG cs.RO stat.ML
Streaming Generated Gaussian Process Experts for Online Learning and Control: Extended Version
针对精确高斯过程处理流式数据时计算与内存复杂度高的问题,本文提出流式渐进生成高斯过程专家框架SkyGP及两个针对性变体,经实验验证其性能优于现有最优方法。
2025-11-14 cs.LG cs.SY eess.SY
An aggregating strategy for shifting experts in discrete sequence prediction
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
我们研究了如何在多个专家的建议下使预测器适应非平稳环境。我们研究的问题完全反馈时,最好的专家随着时间的推移,从决策理论的角度来看。该算法是基于流行的指数加权方法与指数折扣。我们提供的理论结果约束下的指数折扣设置后悔。对有限时间问题,给出了后悔概率的上界。不同的现实生活中的数据集的数值验证提供了所提出的算法的实用性。
2017-08-05 cs.LG
Bayesian Optimisation Using Product-of-Experts Gaussian Process Models with Uncertainty Calibration
University College London(伦敦大学学院)
本文提出BO-pro-c,一种采用不确定性校准的专家乘积高斯过程模型作为代理的贝叶斯优化算法,在保持竞争性能的同时,显著降低计算开销并减少简单遗憾。
2026-09-15 cs.LG
Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification
University of Tübingen(蒂宾根大学)
本文提出一种基于输入数据点特征的灵活专家选择方法,将专家选择建模为多标签分类问题,以降低分布式高斯过程中集成聚合的计算成本并保持预测质量。
2024-01-08 cs.DC cs.LG
Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes
University of Tuebingen(图宾根大学)
分布式高斯过程(Distributed Gaussian Process,DGP)是一种将GP扩展到大数据的流行方法,它将训练数据划分为若干子集,对每个子集执行局部推理,并将结果聚合以获得全局预测。为了组合局部预测,使用条件独立假设,这基本上意味着子集之间存在完美的多样性。虽然它使聚合易于处理,但在实践中经常违反它,并且通常产生很差的结果。在本文中,我们提出了一种新的方法来聚集高斯专家的预测高斯图模型(GGM)的目标聚集被定义为一个不可观测的潜变量和本地预测的观测变量。我们首先使用期望最大化(EM)算法估计潜变量和观测变量的联合分布。利用联合分布的精度矩阵对专家间的交互作用进行编码,并根据条件高斯分布的性质得到聚合预测。使用合成和真实数据集,我们的实验评估表明,我们的新方法优于其他国家的最先进的DGP方法。
2022-02-07 cs.DC cs.LG stat.ML
Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
University of Science - VNUHCM(越南胡志明市科学大学);ARC Centre of Excellence for the Mathematical Analysis of Cellular System(细胞系统数学分析卓越研究中心);School of Mathematical Sciences Queensland University of Technology(昆士兰理工大学数学科学学院);Department of Statistics University of Michigan(密歇根大学统计学系);Department of Statistics and Data Science University of Texas at Austin(德克萨斯大学奥斯汀分校统计学与数据科学系)
本文提出一种基于混合度量树状图的高斯门控高斯混合专家模型选择方法,可一致估计专家数量并实现最优收敛速率,避免训练多模型,优于AIC、BIC和ICL准则。
2025-05-23 cs.LG math.ST stat.CO
Aggregation of Dependent Expert Distributions in Multimodal Variational Autoencoders
BI Norwegian Business School(挪威 BI 商学院);University of Copenhagen(哥本哈根大学);Norwegian Computing Center(挪威计算中心)
本文提出CoDE-VAE模型,利用依赖专家共识原则聚合单模态分布并构建新的ELBO,克服了独立性假设,在生成连贯性、质量权衡及对数似然估计上优于现有方法。
2025-05-02 cs.LG
Embarrassingly Parallel Inference for Gaussian Processes
训练基于高斯过程的模型通常涉及由于对协方差阵求逆而导致的$ O(N^3)$计算瓶颈。用于克服该矩阵求逆问题的流行方法不能充分地对所有类型的潜在函数建模,并且通常不是可并行的。然而,明智地选择模型结构可以改善这个问题。使用混合$K$高斯过程的混合专家模型提供了建模灵活性和可扩展推理的机会。我们的并行算法结合了低维矩阵求逆与重要性抽样,以产生一个灵活的,可扩展的混合专家模型,提供相当的性能,以低得多的计算成本的高斯过程回归。
2020-03-03 stat.ML
An Empirical Comparison of Algorithms for Aggregating Expert Predictions
University of Chicago(芝加哥大学);Yahoo! Research Labs(雅虎研究院);University of Washington(华盛顿大学)
预测未来事件的结果是一个具有挑战性的问题,已经探索和尝试了各种解决方法。我们提出了一个经验比较的各种在线和离线自适应算法,用于汇总专家的预测结果的五年的美国国家足球联赛的比赛(1319场比赛),使用专家概率启发从互联网竞赛称为ProbabilitySports。我们发现,这是很难提高简单的平均预测的预测精度方面,但有改进的空间,在二次损失。有点令人惊讶的是,在我们的算法集合中,估计每个专家预测方差的贝叶斯估计算法比简单平均表现出最一致的优越性能。
2012-06-27 cs.AI cs.LG
Infrastructure Recovery Curve Estimation Using Gaussian Process Regression on Expert Elicited Data
基础设施恢复时间估计对于灾难管理和规划至关重要。受最近的弹性规划计划的启发,我们考虑了一种情况,即要求专家估计不同基础设施系统在场景危害事件后恢复到某些功能级别的时间。我们提出了一个方法框架,使用专家引发的数据来估计一个特定的基础设施系统的预期恢复时间曲线。该框架使用高斯过程回归(GPR)来捕获专家估计的不确定性,并满足已知的恢复过程的物理约束。该框架的目的是找到一个平衡的数据收集成本的专家启发和GPR的预测精度。我们评估的框架,现实模拟专家引发的数据有关的两个案例研究事件,1995年坂神淡路大地震和2011年东日本大地震。
2020-08-24 stat.ME
Forecasting electricity consumption by aggregating specialized experts
Ecole Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);EDF R&D(法国电力集团研发部);HEC Paris(巴黎高等商学院)
我们考虑设置的顺序预测的任意序列的基础上,专门的专家。我们首先回顾了相关文献,并提出了两个理论贡献:Freund等人(1997)的专家聚集规则的一般分析和Herbster和Warrant(1998)在此设置中的固定份额规则的适应。然后,我们将这些规则应用于连续的短期(提前一天)预测的电力消耗量,这样做,我们考虑两个数据集,一个Escherakian的和法国的,分别与每小时和半小时的预测。我们遵循一个一般的方法来执行所述的实证研究,并详细介绍了学习参数的调整问题。引入的聚合规则表明,在手头的数据集的准确性提高,改进在于减少均方误差,但也在一个更强大的行为相对于大的偶然错误。
2012-07-09 cs.LG stat.AP stat.ML
Bayesian estimation of optical constants using mixtures of Gaussian process experts
Aalto University(阿尔托大学);KTH Royal Institute of Technology(瑞典皇家理工学院);LUT University(拉彭兰塔-拉赫蒂理工大学)
本文提出利用高斯过程专家混合建模吸收光谱测量,通过灵活的统计模型实现插值与外推,并结合Kramers-Kronig关系估计复折射率。同时统计建模锚点以考虑测量误差,自动选择外推测量点。
2026-03-27 physics.data-an stat.AP
Adaptive Gaussian Processes on Graphs via Spectral Graph Wavelets
University of Cambridge(剑桥大学);Invenia Labs(Invenia实验室);University of Oxford(牛津大学)
基于图的模型需要从不同大小的邻域中聚合图中的信息。特别是,当数据在图上表现出不同的平滑程度时,需要多尺度方法来捕获相关信息。在这项工作中,我们提出了一个高斯过程模型,使用谱图小波,它可以自然地聚集在不同尺度的邻域信息。通过模型超参数的最大似然优化,小波自动适应数据中的不同频率,因此我们的模型超越了捕获低频信息。我们通过使用滤波器函数的频谱自适应多项式近似来实现更大图形的可扩展性,该滤波器函数的设计目的是在图形频谱的密集区域产生低近似误差。合成和真实世界的实验表明,我们的模型能够准确地推断尺度,并在基于图的学习任务中与最先进的模型产生竞争力。
2022-02-20 cs.LG
Aggregation Models with Optimal Weights for Distributed Gaussian Processes
Department of Industrial and Systems Engineering(工业与系统工程系);Texas A&M University(德克萨斯大学)
本文提出了一种具有最优权重的分布式高斯过程聚合方法,通过整合专家间相关性提升预测准确性,且计算效率更高。
2026-02-10 cs.LG stat.ME stat.ML
Prediction with Expert Advice under Discounted Loss
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
我们研究的预测专家的意见,在设置中的损失是累积的一些折扣-旧的损失的影响可能会逐渐消失。我们推广的聚集算法和聚集算法回归到这种情况下,提出了一个合适的指数权重算法的新变种,并证明各自的损失界。
2010-06-04 cs.LG
Online Adaptive Kernel Mixing for Gaussian Process Decision Making
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);Arizona State University(亚利桑那州立大学)
本文提出HACK GPs方法,将核选择视为在线专家学习问题,通过AdaHedge更新核权重,在贝叶斯优化、水平集估计和主动学习中实现稳健性能。
2026-09-18 cs.LG
Reconciliation of expert priors for quantities and events and application within the probabilistic Delphi method
本文提出一种贝叶斯分层模型,基于连续量的分位数和一次性事件的概率来协调专家判断,并将其嵌入概率德尔菲法中,以形成具有直接概率解释的单一先验分布,实验表明该方法优于传统方法。
2023-11-24 stat.ME
Joint estimation of the predictive ability of experts using a multi-output Gaussian process
本文提出用多输出高斯过程联合建模多个专家在协变量条件下的局部预测能力,并通过幂变换与哈密顿蒙特卡洛加速推断,最终将学习到的联合预测能力用于线性池以预测华盛顿特区每日自行车使用量。
2024-02-12 stat.ME
Time-Resolved fMRI Shared Response Model using Gaussian Process Factor Analysis
University of Toronto(多伦多大学);Centre for Addiction and Mental Health(成瘾与心理健康中心)
多学科功能磁共振成像研究是具有挑战性的,因为参与者的大脑解剖结构和功能性大脑地形的高度可变性。一个有效的方法来聚合多个主题的功能磁共振成像数据是提取一个共享的表示,过滤掉不必要的差异之间的主题。最近的一些工作已经实现了概率模型,以提取任务功能磁共振成像中的共享表示。在目前的工作中,我们改进了这些模型,将时间信息的共同的潜在结构。我们介绍了一种新的模型,共享高斯过程因子分析(S-GPFA),发现共享的潜在轨迹和特定主题的功能地形,同时建模的时间相关性的功能磁共振成像数据。我们证明了我们的模型在使用模拟数据揭示地面真相潜在结构方面的有效性,并在公开可用的Raider和Sherlock数据集上复制了时间段匹配和主题间相似性的实验性能。我们进一步测试了我们的模型的效用,通过分析其学习的模型参数在大型多站点SPINS数据集上,在社会认知任务,从参与者和没有精神分裂症。
2020-09-05 cs.LG eess.IV q-bio.NC
PAC-Bayesian aggregation of affine estimators
使用指数权重的聚合估计取决于他们的风险似乎是最佳的期望,但不是概率。我们在这里使用一个轻微的overpenalization得到这样一个显式的聚集过程的概率的甲骨文不等式。我们专注于固定的设计回归框架和仿射估计的聚合,并获得结果的一个大家庭的仿射估计不一定独立的亚高斯噪声假设。
2018-01-31 math.ST stat.TH
Predicting Glaucoma Visual Field Loss by Hierarchically Aggregating Clustering-based Predictors
The University of Tokyo(东京大学);JST(日本科学技术振兴机构)
本研究解决了从患者疾病数据集预测昏迷性视野丧失的问题。我们的目标是准确预测个体患者的疾病进展。由于每个患者的可用测量值很少,因此很难为个体产生良好的预测值。最近提出的基于聚类的方法增强了使用具有相似时空模式的患者数据的预测能力。每个患者被归类为一组患者,并使用该类中的所有数据构建预测模型。预测高度依赖于聚类的质量,但很难确定最佳聚类方法。因此,我们提出了一种方法,用于聚合基于聚类的预测,以获得更好的预测精度比从一个单一的基于聚类的预测。此外,该方法显示出非常高的性能,通过分层聚合从几个基于聚类的方法产生的专家。我们使用真实的数据集来证明我们的方法比传统的基于聚类和患者的回归方法表现得更好,因为分层聚合策略具有一种机制,使小社区中的良好预测者能够茁壮成长。
2016-03-23 cs.LG stat.ML
Non-Parametric Machine Text Detection via Multi-View Gaussian Processes
Johns Hopkins University(约翰霍普金斯大学)
提出多视角非参数检测框架,通过高斯过程集成互补特征视图,提高对对抗攻击的鲁棒性,并提供校准概率和分布外输入的原则性弃权。
2026-06-15 cs.CL cs.LG
Modeling local predictive ability using power-transformed Gaussian processes
本研究提出基于幂变换的高斯过程模型,通过对数预测得分建模局部预测能力,引入立方根变换提升估计效率,还拓展至多输出场景,并应用于华盛顿特区日自行车使用量预测。
2024-10-06 stat.ME
Multi-Output Gaussian Processes for Multi-Population Longevity Modeling
我们研究联合建模的寿命趋势使用空间统计框架的高斯过程回归。人类死亡率数据库(HMD)为近40个国家提供了统一的原始死亡率表。然而,很少有随机模型存在处理两个以上的人口在同一时间。为了弥合这一差距,我们利用了机器学习的空间协方差框架,该框架将人口视为因子协变量的不同水平,明确捕获了跨人口依赖性。所提出的多输出高斯过程模型直接扩展到十几个群体,而且内在地生成连贯的关节寿命场景。在我们众多的案例研究中,我们调查了从不同国家和性别的死亡率经验汇总中获得的预测收益,包括借用最新的“外国”数据。我们表明,在我们的方法中,信息融合导致更精确(和统计上更可信)的预测。我们在\texttt{R}中实现了我们的模型,以及在\texttt{Stan}中的贝叶斯版本,该版本提供了关于估计死亡率协方差结构的进一步不确定性量化。所有示例都使用公共HMD数据集。
2020-03-05 stat.AP
Aggregating Algorithm for Prediction of Packs
University College London(伦敦大学学院);Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Imperial College London(帝国理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出了一种在延迟反馈条件下预测的特殊情况,即预测包的协议。在这个协议下,学习者必须在没有看到结果的情况下做出一些预测,然后结果就会显示出来。我们发展的理论预测与专家的意见包。通过应用Vovk的聚集算法对这个问题,我们得到了一些算法与紧的上界。我们对住房数据进行了实证实验。
2017-10-23 cs.LG
Anomaly detection with superexperts under delayed feedback
The Alan Turing Institute(艾伦·图灵研究所);WMG Cyber Security Centre, University of Warwick(华威大学WMG网络安全中心)
数据和网络物理系统的连通性日益增强,导致网络攻击数量不断增加。需要通过查明异常活动来实时检测此类攻击,以便有效和迅速地部署缓解行动和应急行动。我们提出了一种新的方法,聚合无监督的异常检测算法,并将反馈时,它变得可用。我们将这种方法应用于开源的真实数据集,并表明,这两个聚合模型,我们称之为专家,并纳入反馈显着提高性能。所提出的方法的一个重要属性是它们的理论保证,即它们的性能接近最佳超级专家,可以在最佳性能专家之间切换,在累积平均损失方面。
2021-04-22 cs.LG stat.ML
ProSpar-GP: scalable Gaussian process modeling with massive non-stationary datasets
提出ProSpar-GP方法,利用稀疏GP专家乘积和变分推断,实现海量非平稳数据集上的可扩展高斯过程建模,并在实验中优于现有方法。
2023-11-15 stat.ME
Bayesian inference of grid cell firing patterns using Poisson point process models with latent oscillatory Gaussian random fields
关于大脑编码信息的问题需要统计框架来推断神经放电和世界特征之间的关系。网格细胞的里程碑式发现表明,神经元可以通过定期重复的放电场来表示空间信息。然而,协变量的影响可能被掩盖在网格细胞活动的当前统计模型中,其通过采用诸如离散化、聚集和平滑的方法,在计算上是低效的并且不考虑物理世界的连续性质。这些限制促使我们开发基于可能性的程序,用于建模和估计有条件地基于生物相关协变量的网格细胞的放电活动。我们的方法模型使用泊松点过程与潜在的高斯效应,它可以容纳持久的不均匀的空间方向模式和过度分散的放电活动。推理是以完全贝叶斯的方式进行的,这使我们能够量化不确定性。应用这些方法的实验数据,我们提供了证据的时间和局部头部方向的影响网格发射。我们的方法提供了一个新的和原则性的框架,分析神经表征的空间。
2023-03-30 stat.AP stat.ME
ManagerTower: Aggregating the Insights of Uni-Modal Experts for Vision-Language Representation Learning
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Northeastern University(东北大学);Intel Labs(英特尔研究院)
ManagerTower提出在双塔视觉-语言模型各跨模态层引入管理器,自适应聚合不同层级单模态专家知识,以仅4M预训练数据在VQAv2和Flickr30K等任务上超越强基线。
2023-05-31 cs.CL cs.CV cs.LG
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts
Tsinghua University(清华大学);Baidu Inc(百度公司)
针对现有单分支参数高效迁移学习方法解耦能力不足的问题,提出多分支聚合低秩专家的ALoRE方法,仅用极少参数就在24项图像分类任务上性能超越全微调和其他主流PETL方法。
2024-12-11 cs.CV cs.LG
A Bayesian Method for Estimating Uncertainty in Excavated Material
本文提出了一种方法,概率量化的时刻(平均值和方差)挖掘过程中挖掘材料的等级块周围的给定铲斗挖掘位置的先验矩聚合。通过将矩建模为采样位置处的随机概率密度函数(pdf),提出了基于高斯的不确定性估计的总和的公式,该公式联合估计位置pdf以及来自矿体知识(obk)子块模型的不确定性的先验值。在每个随机位置计算的矩是一个单一的高斯,它们是高斯混合分布的分量。挖掘材料在给定的铲斗位置的整体不确定性表示的高斯混合模型(GMM),因此矩匹配方法被提出来估计减少GMM的时刻。该方法是在皮尔巴拉铁矿位于布罗克曼铁形成的哈默斯利省,西澳大利亚州的一个地区进行了测试,并建议一个框架工作,以量化的不确定性挖掘材料还没有被研究的任何地方在文献中。
2021-05-03 cs.CE stat.AP
Aggregating Direct and Indirect Neighbors through Graph Linear Transformations
Department of Computer Science, University of Alabama in Huntsville, Huntsville, Alabama, United States of America(计算机科学系,阿拉巴马大学亨茨维尔分校)
本文提出图线性变换方法,通过图结构导出的线性算子实现直接和间接邻居特征聚合,提升图神经网络在不同数据集上的性能。
2026-01-15 cs.LG
Thompson Sampling for Online Learning with Linear Experts
Technion(以色列理工学院)
在这篇文章中,我们提出了一个版本的汤普森采样算法的问题,在线线性推广与充分的信息(即,Kalai和Vempala在2005年进行了研究。该算法使用高斯先验和随时间变化的高斯似然,我们表明,它基本上减少到Kalai和Vempala的跟随扰动领导者的策略,用高斯噪声代替指数分布的噪声。这意味着对于具有完整信息的在线学习,Thompson采样(具有时变似然)的sqrt(T)遗憾界限。
2013-11-03 cs.LG stat.ML
Competing with Gaussian linear experts
Computer Learning Research Centre(计算机学习研究中心);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
我们研究了在线回归问题。我们证明了岭回归平方损失的理论界。我们不对输入向量或结果做任何假设。我们还表明,贝叶斯岭回归可以被认为是一个在线算法与所有的高斯线性专家竞争。
2010-05-10 cs.LG
Towards Convergence Rates for Parameter Estimation in Gaussian-gated Mixture of Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Queensland(昆士兰大学);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室)
针对高斯门控专家混合模型,提出基于Voronoi损失函数的收敛性分析,揭示MLE在不同参数设置下的异质性行为,并通过模拟验证理论结果。
2024-02-09 cs.LG stat.ML
Manager: Aggregating Insights from Unimodal Experts in Two-Tower VLMs and MLLMs
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(社会计算与信息检索研究中心,哈尔滨工业大学);School of Computer Science and Engineering, Central South University(计算机科学与工程学院,中南大学);School of Computing, National University of Singapore(计算学院,新加坡国立大学)
本研究提出轻量插件Manager,自适应聚合不同层级单模态专家洞见,在双塔VLM和MLLM架构下均显著提升多类视觉语言任务性能,且与多网格算法协同可进一步优化效果。
2025-06-13 cs.CL cs.CV cs.LG