Enriched Mixtures of Gaussian Process Experts
University of Warwick（华威大学）；University of Edinburgh（爱丁堡大学）
专家的混合将输入空间概率性地划分为区域，其中每个专家或条件模型的假设仅需要在局部保持。结合高斯过程（GP）专家，这将产生一个功能强大且高度灵活的模型。我们专注于GP专家的替代混合物，其明确地模拟输入和目标的联合分布。我们强调这种方法在多维输入空间中的问题，即可扩展性差，需要大量的专家，降低预测性能，增加不确定性。我们构建了一个新的模型来解决这些问题，通过一个嵌套的分区方案，自动推断在这两个级别的组件的数量。通过广义GP框架容纳多种响应类型，而通过因子化指数家族结构包括多种输入类型。我们证明了我们的方法在估计一个简约的概率描述的合成数据的维数增加和阿尔茨海默氏症的挑战数据集的有效性。
2019-05-30 cs.LG stat.ML
Mixtures of Gaussian process experts based on kernel stick-breaking processes
the University of Melbourne（墨尔本大学）
提出基于核stick-breaking过程的高斯过程专家混合模型，改进门控函数，提升预测性能，并用切片采样实现后验计算，在六个数据集上验证效果。
2023-05-05 cs.LG stat.ML
Healing Products of Gaussian Processes
University College London（伦敦大学学院）；University of Johannesburg（约翰内斯堡大学）；University of the Witwatersrand（金山大学）
高斯过程（GP）是一种非参数贝叶斯模型，已被应用于回归和分类问题。减轻其立方训练成本的方法之一是使用在数据子集上训练的本地GP专家。特别是，专家产品模型通过一个易于处理的产品操作结合了当地专家的预测分布。虽然这些专家模型允许大规模分布式计算，但它们的预测通常会受到平均值或未校准不确定性量化的不稳定行为的影响。通过校准预测通过回火softmax加权，我们提供了一个解决方案，这些问题的多个产品的专家模型，包括广义产品的专家和强大的贝叶斯委员会机。此外，我们利用最佳运输文献，并提出了一个新的产品的专家模型，结合当地专家的预测，通过计算他们的Wasserstein重心，这可以应用于回归和分类。
2021-02-14 cs.LG stat.ML
Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification
University of Tübingen（蒂宾根大学）
本文提出一种基于输入数据点特征的灵活专家选择方法，将专家选择建模为多标签分类问题，以降低分布式高斯过程中集成聚合的计算成本并保持预测质量。
2024-01-08 cs.DC cs.LG
Mixtures of Gaussian Process Experts with SMC$^2$
Department of Electrical Engineering and Automation（艾尔沃斯大学电气工程与自动化系）；Aalto University（艾尔沃斯大学）；School of Engineering Sciences（工程科学学院）；LUT University（卢托大学）；School of Mathematics（数学学院）；University of Edinburgh（爱丁堡大学）；Department of Mathematics（数学系）；University of Manchester（曼彻斯特大学）
针对高斯过程计算复杂度高、内存占用大的问题，提出基于嵌套序贯蒙特卡洛采样器的推断方法，可同时推断门控网络与专家参数，提升非平稳场景下的推断效果且支持并行。
2025-10-03 cs.LG stat.CO stat.ML
Semi-parametric Expert Bayesian Network Learning with Gaussian Processes and Horseshoe Priors
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）
该研究提出带线性约束的半参数专家贝叶斯网络学习模型，结合高斯过程与差异化尺度马蹄先验引入少量非线性，可生成多样适配用户输入的图，在合成及UCI肝病数据集上性能优于现有半参数贝叶斯网络模型。
2024-01-29 cs.LG stat.ML
Information-Based Calibration of Uncertainty Quantification in Product-of-Experts Gaussian Process Models
University College London（伦敦大学学院）；The University of Manchester（曼彻斯特大学）
该研究针对专家乘积高斯过程模型的后验方差高估问题，提出基于信息校准的GP-pro-c模型，在降低计算复杂度的同时，使NLL平均降2.3%、ENCE平均降12.0%，可用于高维大规模数据的贝叶斯优化。
2026-09-01 cs.LG
Generalized Product of Experts for Automatic and Principled Fusion of Gaussian Process Predictions
University of Toronto（多伦多大学）
在这项工作中，我们提出了一个广义产品的专家（GPoE）框架相结合的多个概率模型的预测。我们确定了四个理想的属性是重要的可扩展性，表现力和鲁棒性，学习和推断与多个模型的组合时。通过分析和实验，我们证明了高斯过程（GP）的gPoE具有这些品质，而没有其他现有的组合方案同时满足所有这些品质。由此产生的GP-gPoE是高度可扩展的，因为单个GP专家可以独立地并行学习;非常有表现力，因为专家组合的方式取决于输入而不是固定的;组合预测仍然是具有自然解释的有效概率模型;并且最终对来自单个专家的不可靠预测具有鲁棒性。
2015-11-24 cs.AI cs.LG stat.ML
Convergence Rates for Gaussian Mixtures of Experts
University of Texas（德克萨斯大学）；University of California（加利福尼亚大学）
我们提供了一个理论上的治疗过指定的高斯混合专家与无协变量门控网络。我们建立了这些模型的极大似然估计（MLE）的收敛速度。我们的证明技术是基于一个新的概念\emph{algebraic independence}的专家功能。利用最优输运理论，我们建立了代数独立性和某一类偏微分方程（PDE）之间的联系。利用这一联系，使我们能够获得收敛速度和极小极大下界的参数估计。
2022-03-08 cs.LG math.ST stat.ML
Thompson Sampling for Online Learning with Linear Experts
Technion（以色列理工学院）
在这篇文章中，我们提出了一个版本的汤普森采样算法的问题，在线线性推广与充分的信息（即，Kalai和Vempala在2005年进行了研究。该算法使用高斯先验和随时间变化的高斯似然，我们表明，它基本上减少到Kalai和Vempala的跟随扰动领导者的策略，用高斯噪声代替指数分布的噪声。这意味着对于具有完整信息的在线学习，Thompson采样（具有时变似然）的sqrt（T）遗憾界限。
2013-11-03 cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Correlated Product of Experts for Sparse Gaussian Process Regression
Università della Svizzera italiana (USI)（提契诺大学）；University of Limerick (UL)（利默里克大学）
高斯过程（GP）是机器学习和统计学中的重要工具，其应用范围从社会科学和自然科学到工程学。它们构成了一个功能强大的核化非参数方法，具有校准良好的不确定性估计，然而，现成的GP推理程序仅限于具有数千个数据点的数据集，因为它们的立方计算复杂性。出于这个原因，在过去的几年中已经开发了许多稀疏GPS技术。在本文中，我们专注于GP回归任务，并提出了一种新的方法的基础上聚合预测从几个本地和相关的专家。因此，专家之间的相关程度可以在独立专家到完全相关的专家之间变化。考虑到专家的个人预测的相关性，将其汇总，从而得出一致的不确定性估计。我们的方法恢复独立的专家产品，稀疏GP和全GP在极限情况下。该框架可以处理一个通用的核函数和多个变量，并具有一个时间和空间的复杂度是线性的专家和数据样本的数量，这使得我们的方法具有高度的可扩展性。我们展示了优越的性能，在时间与精度的意义上，我们提出的方法对国家的最先进的GP近似方法的合成以及几个现实世界的数据集与确定性和随机最优化。
2021-12-17 cs.LG stat.ML
Ada-MoGE: Adaptive Mixture of Gaussian Expert Model for Time Series Forecasting
Huawei Noah’s Ark Lab（华为诺亚实验室）；Zhejiang University（浙江大学）
Ada-MoGE通过自适应确定专家数量和高斯带通滤波优化，提升时间序列预测的精度与效率。
2025-11-29 cs.AI cs.CE cs.LG
Meta-Weighted Gaussian Process Experts for Personalized Forecasting of AD Cognitive Changes
Massachusetts Institute of Technology（麻省理工学院）；Imperial College London（帝国理工学院）
我们引入了一种新的个性化高斯过程专家（pGPE）模型，用于预测每个受试者的ADAS-Cog 13认知评分-认知领域中阿尔茨海默病（AD）的重要预测因子-在未来6，12，18和24个月内。首先，我们使用基础高斯过程（GP）回归，使用来自先前观察到的受试者的多模态数据来训练人口水平模型。然后，我们通过使用域自适应GP，并通过训练特定于主题的GP，随着时间的推移，将基础GP顺序地适应于新的（目标）主题，来个性化此模型。虽然我们表明，这些模型在选择性地应用于预测任务时实现了更好的性能（在不同的主题/访问中，一个模型比另一个模型表现得更好），但每个模型的平均性能是次优的。为此，我们在建议的pGPE中使用了元学习的概念来设计这些专家模型的基于回归的权重，其中专家权重针对每个受试者及其未来的访问进行了优化。来自ADNI数据集的一组受试者的结果表明，这种新引入的专家模型的个性化加权在准确预测未来ADAS-Cog 13评分及其与AD进展相关的细粒度变化方面有了很大的改进。这种方法有可能帮助早期识别高危患者，并改善AD临床试验的建设。
2019-04-19 cs.LG stat.ML
Gaussian Process Domain Experts for Model Adaptation in Facial Behavior Analysis
Imperial College London（帝国理工学院）；University of Twente（特文特大学）
我们提出了一种新的方法，监督域适应的基础上高斯过程（GP）的概率框架。具体来说，我们引入特定领域的GP作为本地专家的面部表情分类从人脸图像。分类器的自适应以概率的方式通过调节多个源专家的目标专家来促进。此外，与现有的适应方法相比，我们还从现有的目标数据中学习目标专家。然后，一个单一的和有信心的分类器是通过组合的预测，从多个专家的基础上他们的信心。该模型的学习是有效的，不需要重新训练/重新加权的源分类器。我们评估所提出的方法对两个公开的数据集多类（MultiPIE）和多标签（DISFA）的面部表情分类。为此，我们执行两个语境因素的适应：“在哪里”（视图）和“谁”（主题）。我们在我们的实验中表明，所提出的方法始终优于源和目标分类器，同时使用少至30个目标的例子。它还优于最先进的监督域自适应方法。
2016-05-02 cs.CV cs.LG stat.ML
Demystifying Softmax Gating Function in Gaussian Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Univ. Grenoble Alpes, Inria（格勒诺布尔阿尔卑斯大学，法国国家信息与自动化研究所）；CNRS, Grenoble INP, LJK（法国国家科学研究中心，格勒诺布尔理工学院，让·库尔研究所）
本文针对 softmax 门控高斯混合专家参数估计的三大理论难题，提出新型 Voronoi 损失函数并建立最大似然估计收敛速率，同时揭示过度指定专家数时收敛速率与多项式方程可解性的关联。
2023-10-30 cs.LG math.ST stat.ML
Minimax Optimal Quantile and Semi-Adversarial Regret via Root-Logarithmic Regularizers
University of Toronto（多伦多大学）；Spanflug Technologies GmbH（Spanflug技术有限公司）；Boston University（波士顿大学）
分位数（以及更一般的KL）遗憾界限，例如NormalHedge（Chaudhuri，Freund，and Hsu 2009）及其变体，将与最佳个体专家竞争的目标放宽到只与大多数专家竞争对抗性数据。最近，半对抗范式（Bilodeau，Negrea和Roy 2020）通过考虑可能既不完全对抗也不完全随机（i.i.d.）的数据，提供了对抗在线学习的另一种放松。我们实现了极大极小最优后悔在这两个范例中使用FTRL与单独的，新颖的，根对数正则化，这两者都可以被解释为产生的NormalHedge的变种。我们将已有的KL后悔上界推广到具有任意先验的可能不可数专家类，给出了有限专家类上分位数后悔的第一个完全信息下界（紧）;并为半对抗范式提供了一种自适应极大极小优化算法，该算法更快地适应真实的未知约束，从而导致相对于现有方法的一致改进的后悔界限。
2021-11-07 cs.LG stat.ML
Online Adaptive Kernel Mixing for Gaussian Process Decision Making
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Arizona State University（亚利桑那州立大学）
本文提出HACK GPs方法，将核选择视为在线专家学习问题，通过AdaHedge更新核权重，在贝叶斯优化、水平集估计和主动学习中实现稳健性能。
2026-09-18 cs.LG
Personalized Risk Scoring for Critical Care Patients using Mixtures of Gaussian Process Experts
University of California, Los Angeles（加州大学洛杉矶分校）；David Geffen School of Medicine, University of California, Los Angeles（加州大学洛杉矶分校大卫·格芬医学院）
我们开发了一个个性化的实时的风险评分算法，提供及时和粒度评估的基础上，他们的（时间）实验室检查和生命体征的病房患者的临床急性。通过分层潜在类模型捕获患者群体的异质性。所提出的算法的目的是发现潜在的类在患者人群中的数量，并训练混合高斯过程（GP）的专家，其中每个专家模型的生理数据流与特定的类。自学迁移学习用于将从临床稳定患者的域学到的潜在类的知识迁移到临床恶化患者的域。对于新患者，计算所有全科医生专家对患者生理数据流的临床状态的后验信念，并将个性化风险评分评估为这些信念的加权平均值，其中权重是从患者的入院信息中学习的。在加州大学洛杉矶分校罗纳德里根医学中心收治的6，313名患者的异质队列中进行的实验表明，我们的风险评分优于目前部署的风险评分，如MEWS和Rothman评分。
2016-05-03 cs.LG stat.ML
Fast Deep Mixtures of Gaussian Process Experts
NVIDIA（英伟达）；University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出用DNN门控网络选择稀疏GP专家，并借助CCR单遍算法快速近似MAP估计，在精度、不确定性量化和高维大数据效率上优于竞争方法。
2023-12-01 cs.LG stat.ML
A Few Expert Queries Suffices for Sample-Efficient RL with Resets and Linear Value Approximation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
本文研究了在只有最优值函数被假设为线性可实现的情况下的样本有效强化学习（RL）。最近已经理解的是，即使在这种看似强有力的假设和对生成模型的访问下，最坏情况的样本复杂性也可能是令人望而却步的（即，指数地）大。我们调查的设置，学习者还可以从专家政策的互动演示，我们提出了一个统计和计算效率的算法（Delphi）混合探索与专家查询。特别是，Delphi需要$\tilde{\mathcal{O}}(d)$专家查询和$\texttt{poly}(d,H,|\mathcal{A}|,1/\varepsilon)$数量的探索性样本来可证明地恢复$\varepsilon$次优策略。与纯RL方法相比，这对应于样本复杂度的指数级改进，而专家输入非常少。与先前的模仿学习（IL）方法相比，我们所需的专家演示的数量是独立的$H$和对数的$1/\varepsilon$，而所有先前的工作需要至少线性因子的$d$除了相同的依赖。为了建立所需的最小量的专家查询，我们表明，在相同的设置，任何学习者的探索预算是多项式有界的（在$d,H,$和$|\mathcal{A}|$方面）将需要至少$\tildeΩ(\sqrt{d})$ Oracle调用恢复与专家的值函数竞争的政策。在较弱的假设下，专家的政策是线性的，我们表明，下限增加到$\tildeΩ(d)$。
2022-07-18 cs.LG
Deep Structured Mixtures of Gaussian Processes
TU Graz（格拉茨工业大学）；OFAI（奥地利人工智能研究所）；TU Eindhoven（埃因霍温理工大学）；University of Cambridge（剑桥大学）
高斯过程（GP）是一种功能强大的非参数贝叶斯回归模型，允许精确的后验推理，但具有较高的计算和内存成本。为了提高GP的可扩展性，经常采用近似后验推理，其中一类突出的近似技术是基于本地GP专家的。然而，到目前为止提出的本地专家技术要么没有很好的原则，有限的近似保证，或导致棘手的模型。在本文中，我们引入了GP专家的深度结构化混合物，这是一种随机过程模型，i）允许精确的后验推理，ii）具有吸引人的计算和内存成本，iii）当用作GP近似时，捕获预测不确定性始终优于以前的基于专家的近似。在各种实验中，我们表明，深度结构的混合物具有较低的近似误差，并且通常具有竞争力或优于先前的工作。
2020-04-26 cs.LG stat.ML
Towards Convergence Rates for Parameter Estimation in Gaussian-gated Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Queensland（昆士兰大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对高斯门控专家混合模型，提出基于Voronoi损失函数的收敛性分析，揭示MLE在不同参数设置下的异质性行为，并通过模拟验证理论结果。
2024-02-09 cs.LG stat.ML
On Parameter Estimation in Deviated Gaussian Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对偏差高斯混合专家模型的参数估计问题（源于拟合优度检验场景），该研究构建基于Voronoi的新型损失函数，可更准确地表征最大似然估计的局部收敛速率，效果优于常用的广义Wasserstein损失。
2024-06-24 cs.LG stat.ML
Streaming Generated Gaussian Process Experts for Online Learning and Control: Extended Version
针对精确高斯过程处理流式数据时计算与内存复杂度高的问题，本文提出流式渐进生成高斯过程专家框架SkyGP及两个针对性变体，经实验验证其性能优于现有最优方法。
2025-11-14 cs.LG cs.SY eess.SY
Ensemble of Sparse Gaussian Process Experts for Implicit Surface Mapping with Streaming Data
Örebro University（厄勒布鲁大学）
创建地图是机器人技术中的一项重要任务，为有效的规划和导航提供了基础。在本文中，我们学习一个紧凑的和连续的隐式表面地图的环境从一个流的范围数据与已知的姿态。为此，我们创建并逐步调整近似高斯过程（GP）专家的集合，每个专家负责地图的不同部分。而不是将所有到达的数据插入到GP模型中，我们在模型复杂度和预测误差之间进行了很好的权衡。因此，我们的算法在具有很少几何特征的区域上使用更少的资源，而在环境丰富多样的区域上使用更多的资源。我们在合成和真实世界的数据集上评估我们的方法，并分析对参数和测量噪声的敏感性。结果表明，我们可以学习紧凑和准确的隐式曲面模型在不同的条件下，性能相当或优于精确GP回归与子采样数据。
2020-02-12 cs.LG cs.RO stat.ML
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland（昆士兰大学）；University of Caen（卡昂大学）；La Trobe University（拉筹伯大学）
混合专家模型及其基于期望最大化算法的极大似然估计（MLE）已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下，高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE，用于聚类和回归，并提出了一个$\ell_1$正则化的MLE，以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计，并利用BIC类标准来选择模型参数，包括稀疏调整超参数。仿真数据上的实验表明，与标准的期望最大化算法相比，所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Is Temperature Sample Efficient for Softmax Gaussian Mixture of Experts?
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对密集到稀疏门控高斯MoE的参数估计收敛慢问题，提出带激活函数的新型门控机制，将收敛速度从慢于多项式提升至多项式速度，并通过仿真验证了理论结论。
2024-06-24 cs.LG stat.ML
Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
University of Science - VNUHCM（越南胡志明市科学大学）；ARC Centre of Excellence for the Mathematical Analysis of Cellular System（细胞系统数学分析卓越研究中心）；School of Mathematical Sciences Queensland University of Technology（昆士兰理工大学数学科学学院）；Department of Statistics University of Michigan（密歇根大学统计学系）；Department of Statistics and Data Science University of Texas at Austin（德克萨斯大学奥斯汀分校统计学与数据科学系）
本文提出一种基于混合度量树状图的高斯门控高斯混合专家模型选择方法，可一致估计专家数量并实现最优收敛速率，避免训练多模型，优于AIC、BIC和ICL准则。
2025-05-23 cs.LG math.ST stat.CO
Adaptive Bayesian Online Learning via Expert Aggregation
Inha University（仁荷大学）
研究如何改进贝叶斯在线学习，将其更新规则视为专家，按顺序预测损失聚合专家。通过在线共形推理和高斯过程回归实例化框架，得到平滑贝叶斯对应物及神谕不等式，实验显示聚合能跟踪强大专家且无需神谕专家选择。
2026-07-23 cs.LG stat.ML
Gaussian Material Synthesis
TU Wien（维也纳工业大学）；KAUST（阿卜杜拉国王科技大学）
我们提出了一个基于学习的系统，快速大规模的材料合成，是有用的新手和专家用户一样。用户偏好通过高斯过程回归来学习，并且可以很容易地进行采样以获得新的推荐。通常，使用全局光照渲染每个建议需要40-60秒，这使得此过程对于真实世界的工作流不切实际。我们的神经网络通过实时的提供高质量的图像预测来消除这一瓶颈，之后可以从图库中挑选所需的材料，并以直观的方式将其分配给场景。针对迪士尼“原则性”着色器的工作流计时显示，我们的系统可以很好地扩展所需材料的数量，从而使即使是新手用户也可以在没有任何材料建模专业知识的情况下生成数百个高质量的材料模型。类似地，专家用户在使用材质填充场景时会体验到总建模时间的显著减少。此外，我们提出的解决方案还提供了可控的建议和一个新的潜在空间变量生成步骤，以实现材料的实时微调，而不需要任何领域的专业知识。
2018-04-23 cs.LG stat.ML
Tight Bounds on Minimax Regret under Logarithmic Loss via Self-Concordance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Institute for Advanced Study（高等研究院）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑了经典的问题，序贯概率分配对数损失下，而竞争对任意的，潜在的非参数类的专家。我们通过一种新的方法，利用对数损失的自和谐属性，得到紧界的极大极小遗憾。我们表明，对于任何专家类（顺序）度量熵$\mathcal{O}(γ^{-p})$规模$γ$，极小极大遗憾是$\mathcal{O}(n^{p/(p+1)})$，这一速度不能提高没有额外的假设下考虑的专家类。作为我们的技术的应用，我们解决了极大极小遗憾的非参数Lipschitz类专家。
2020-08-03 cs.LG stat.ML
The Art of Hierarchical Competing Patterns: Gaussian Process Optimization of Hyphenation
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
本研究将连字符模式生成中的 patgen 参数选择建模为黑盒优化问题，采用高斯过程贝叶斯优化，在 17 个多语言数据集上显著提升 F_{1/7} 分数并减小 trie 大小，使模式生成更可重复且减少专家试错。
2026-09-09 cs.CL cs.DL cs.LG
MoGU: Mixture-of-Gaussians with Uncertainty-based Gating for Time Series Forecasting
Faculty of Engineering, Bar Ilan University, Ramat-Gan, Israel（工程学院，巴伊兰大学，拉马特-甘，以色列）
MoGU通过基于不确定性的门控机制提升时间序列预测的准确性和不确定性量化能力。
2026-02-03 cs.AI cs.LG
Learning Deep Mixtures of Gaussian Process Experts Using Sum-Product Networks
Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；Graz University of Technology（格拉茨工业大学）；University of Cambridge（剑桥大学）
虽然高斯过程（GP）是回归任务的首选方法，但它们也有实际困难，因为推理成本在时间上是三次方，在内存中是二次方。在本文中，我们介绍了一种自然和表达的方式来解决这些问题，通过将GP的和积网络（SPN），最近提出的易处理的概率模型，允许准确和有效的推理。特别是，通过使用GP作为SPN的叶子，我们获得了一种新的灵活的先验函数，它隐含地表示了指数级大的混合本地GP。在这个模型中，精确和有效的后验推理可以在GP和SPN中的推理机制的自然相互作用中完成。因此，每个GP--类似于混合专家模型方法--仅负责数据点的子集，这以分而治之的方式有效地降低了推理成本。我们表明，将GP集成到SPN框架中会产生一个有前途的概率回归模型，该模型具有以下特点：（1）计算和内存效率高，（2）允许有效和精确的后验推理，（3）足够灵活，可以混合不同的核函数，（4）自然地考虑时间序列中的非平稳性。在一系列实验中，我们证明了SPN-GP模型可以学习依赖于输入的参数和超参数，并且与传统的GP以及对真实世界数据的最先进的近似值相当或优于传统的GP。
2018-09-12 cs.LG stat.ML
Multi-Subspace Multi-Modal Modeling for Diffusion Models: Estimation, Convergence and Mixture of Experts
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
本文提出基于多子空间多模态建模的扩散模型，通过引入低秩混合高斯混合结构，有效捕捉多模态信息并提升生成性能。
2026-01-04 cs.LG
Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对表格回归中连续标签边界不清及测试分布未知不平衡的问题，提出 MATI，通过区域感知高斯混合专家与测试时自监督聚合动态适配分布，在三类测试设置下平均将 MAE 改善 7.1%。
2025-06-08 cs.LG
Partially Linear Additive Gaussian Graphical Models
Princeton University（普林斯顿大学）；Charles H. Dyson School of Applied Economics and Management（查尔斯·H·戴森应用经济与管理学院）；University of Chicago（芝加哥大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个部分线性加性高斯图模型（PLA-GGM）的估计被观察到的混杂因素扭曲的随机变量之间的关联。模型参数估计使用$L_1$ -正则化最大伪轮廓似然估计（MapPLE），我们证明了$\sqrt{n}$ -稀疏。重要的是，我们的方法避免了参数约束的影响估计的图形模型结构上的混杂因素。从经验上讲，PLA-GGM适用于合成和真实世界的数据集，表现出优越的性能相比，竞争的方法。
2019-06-08 cs.LG stat.ML
Optimal Non-Asymptotic Lower Bound on the Minimax Regret of Learning with Expert Advice
Yahoo Labs（雅虎实验室）
证明了$d$独立高斯变量的最大值的期望和$d$独立对称随机游动的最大值的期望的非渐近下界.这两个下界都恢复了极限中的最佳前导常数。随机游动的下界的一个简单应用是在专家建议下在线学习的极大极小遗憾的（渐近最优）非渐近下界。
2015-11-06 cs.LG stat.ML
Online Aggregation of Probability Forecasts with Confidence
本文介绍了专家建议预报（PEA）的数值试验和一些理论发展。一个实验涉及根据温度预测电力消耗，并使用真实数据。由于依赖的模式可以随着季节和一天中的时间而变化，该领域自然允许PEA与具有不同“专业领域”的专家一起制定。我们考虑的情况下，几个竞争的方法产生在线预测的概率分布函数的形式。概率预测和结果之间的差异由损失函数（评分规则）来衡量。连续结果的评分规则的一个流行示例是连续排序概率评分（CRPS）。在本文中，结合概率预测的问题被认为是在PEA框架。证明了CRPS是一个可混合的损失函数，并给出了以CRPS为损失函数的Vovk聚集算法的后悔时间上界.此外，我们将一个“平滑”的版本的专门专家的方法在这个计划中，使我们能够结合概率预测的专业专家重叠域的能力。
2021-09-29 cs.AI cs.LG
Large-scale Heteroscedastic Regression via Gaussian Process
Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）
考虑观测值间噪声变化的异方差回归在机器学习和统计学等领域有着广泛的应用。在这里，我们专注于异方差高斯过程（HGP）回归，它集成了潜在的功能和噪声功能在一个统一的非参数贝叶斯框架。虽然HGP表现出了卓越的性能，但它的立方时间复杂度严格限制了它在大数据中的应用。为了提高可扩展性，我们首先开发了一个变分稀疏推理算法，命名为VSHGP，处理大规模数据集。此外，开发了两种变体，以提高VSHGP的可扩展性和能力。第一种是随机VSHGP（SVSHGP），它导出了一个分解的证据下限，从而提高了有效的随机变分推断。第二种是分布式VSHGP（DVSHGP），它（i）遵循贝叶斯委员会机器形式主义，将计算分布在具有许多诱导点的多个本地VSHGP专家上;以及（ii）采用专家的混合参数，以防止过度拟合并捕获本地多样性。DVSHGP和SVSHGP相比，现有的可扩展异方差/同方差GP的优越性，然后广泛验证各种数据集。
2020-01-21 cs.LG stat.ML
Dendrograms of Mixing Measures for Softmax-Gated Gaussian Mixture of Experts: Consistency Without Model Sweeps
Faculty of Mathematics and Computer Science, University of Science, Ho Chi Minh City, Vietnam（越南胡志明市科学大学数学与计算机科学学院）；Vietnam National University Ho Chi Minh City, Vietnam（越南胡志明市国家大学）；Faculty of Information Technology, University of Science, Ho Chi Minh City, Vietnam（越南胡志明市科学大学信息技术学院）；ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems（细胞系统数学分析 excellence 中心）；School of Mathematical Sciences, Queensland University of Technology, Brisbane City, Australia（昆士兰科技大学数学科学学院）；Department of Statistics and Data Science, University of Texas at Austin, Austin, USA（德克萨斯大学奥斯汀分校统计与数据科学系）
针对softmax门控高斯混合专家模型，提出基于Voronoi损失函数的统一统计框架，解决参数非可识别性和模型选择问题，并引入混合测度树状图实现一致且无需多尺寸训练的专家数选择。
2026-06-08 cs.LG math.ST stat.CO
Explicit Diffusion of Gaussian Mixture Model Based Image Priors
本文提出一种基于高斯混合专家的product/fields of experts模型，通过显式扩散进行图像先验建模，在保证可处理性和可解释性的同时实现了有竞争力的去噪效果与可靠的噪声估计。
2023-02-16 cs.CV cs.LG
A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；La Trobe University（乐卓博大学）；University of Queensland（昆士兰大学）
专家混合（MoE）是一类流行的统计和机器学习模型，多年来由于其灵活性和效率而受到关注。在这项工作中，我们考虑高斯门控本地化MoE（GLoME）和块对角协方差本地化MoE（BLoME）回归模型，以呈现非线性关系的异质数据与潜在的隐藏的图形结构的高维预测之间的相互作用。这些模型提出了困难的统计估计和模型选择问题，无论是从计算和理论的角度。在惩罚极大似然估计的框架下，研究了由混合分量数、高斯均值专家复杂度协方差阵的隐块对角结构组成的GLoME或BLoME模型集合中的模型选择问题.特别是，我们建立了非渐近的风险界，采取的形式弱预言不等式，提供的下界的处罚举行。我们的模型的良好的经验行为，然后证明在合成和真实的数据集。
2022-09-04 cs.AI cs.LG math.ST
The finite-horizon five-expert prediction problem
University of Minnesota（明尼苏达大学）；Louisiana State University（路易斯安那州立大学）
本文给出五专家预测问题在有限时域下的显式PDE解，证明对手秩策略全局最优，COMB策略在特定集合最优，并通过计算机辅助和Lean形式化验证。
2026-09-30 cs.GT cs.LG math.AP
Hierarchical Gaussian Process Models for Regression Discontinuity/Kink under Sharp and Fuzzy Designs
Texas A&M University（德州农工大学）
我们提出了非参数贝叶斯估计的因果推断利用回归不连续/扭结（RD/RK）下尖锐和模糊设计。我们的估计是基于高斯过程（GP）回归和分类。GP方法是强大的概率机器学习方法，其在导数估计和不确定性量化方面是有利的，从而促进RD/RK模型的RK估计和推断。这些估计器被扩展到具有中间贝叶斯神经网络层的分层GP模型，并且可以被表征为混合深度学习模型。蒙特卡罗模拟表明，我们的估计执行的精度，覆盖率和区间长度方面的竞争估计，有时甚至更好。层次GP模型大大改善了单层GP模型。我们应用所提出的方法来估计美国众议院选举的在职优势。我们的估计表明，在选票份额和在下次选举中获胜的可能性方面都有显着的在职优势。最后，我们提出了一个扩展，以适应协变量调整。
2022-02-28 cs.LG econ.EM stat.ML
Non-asymptotic oracle inequalities for the Lasso in high-dimensional mixture of experts
The University of Queensland（昆士兰大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆汀·莫雷尔实验室）；La Trobe University（拉筹伯大学）；Kyushu University（九州大学）；IRT SystemX
本文针对高维 softmax 门控高斯 MoE 模型，在参数有界的温和条件下建立 Lasso 估计的非渐近 KL 损失 oracle 不等式，并通过模拟验证理论结果。
2024-07-02 cs.AI cs.LG math.ST
