Meta Reinforcement Learning with Latent Variable Gaussian Processes
Imperial College London(帝国理工学院);Microsoft Research(微软研究院)
从小数据集学习在许多实际应用中是至关重要的,其中数据收集是耗时或昂贵的,例如,机器人、动物实验或药物设计。Meta学习是通过将从一组训练任务中学到的概念概括为看不见但相关的任务来提高学习算法的数据效率的一种方法。通常,任务之间的这种关系是硬编码的,或者以其他方式依赖于人类的专业知识。在本文中,我们框架Meta学习作为一个层次化的潜在变量模型和推断任务之间的关系自动从数据。我们将我们的框架应用于基于模型的强化学习环境中,并表明我们的元学习模型通过识别新任务如何从最少的数据中与先前的任务相关,有效地推广到新任务。与强基线相比,这导致解决任务所需的平均交互时间减少了60%。
2018-07-07 cs.LG stat.ML
Gaussian Process Assisted Meta-learning for Image Classification and Object Detection Models
Department of Statistics, Virginia Tech(统计学系,弗吉尼亚理工大学);Virginia Tech National Security Institute(弗吉尼亚理工大学国家安全研究所);Department of Mathematics, Virginia Tech(数学系,弗吉尼亚理工大学)
本文提出利用高斯过程辅助元学习,通过分析元数据优化数据采集,提升图像分类和目标检测模型性能。
2025-12-23 cs.LG stat.ML
Training data membership inference via Gaussian process meta-modeling: a post-hoc analysis approach
提出GP-MIA,利用高斯过程元建模和事后指标,高效可解释地推断训练数据成员,在多个数据集上实现高准确率与泛化性。
2025-10-22 cs.AI cs.LG
Evaluating Gaussian Process Metamodels and Sequential Designs for Noisy Level Set Estimation
University of California UCSB(加利福尼亚大学圣巴巴拉分校)
我们考虑的问题,学习的水平集,其中一个嘈杂的黑盒函数超过一个给定的阈值。为了有效地重建水平集,我们研究了高斯过程(GP)元模型。我们的重点是强随机采样器,特别是重尾模拟噪声和低信噪比。为了防止噪声误指定,我们评估了三种变体的性能:(i)具有Student- $t$观测的GP;(ii)Student- $t$过程(TP);以及(iii)对响应的符号进行建模的分类GP。结合这些元模型,我们分析了几个采集功能,指导顺序试验设计,扩展现有的逐步减少不确定性的标准,随机轮廓寻找的背景下。这也促使我们开发(近似)更新公式,以有效地计算这样的采集功能。我们的计划是基准使用各种合成实验在1- 6维。我们还考虑了应用水平集估计确定最优的执行政策的金融期权。
2020-03-02 cs.LG stat.ML
Latent Map Gaussian Processes for Mixed Variable Metamodeling
University of California, Irvine(加州大学尔湾分校)
高斯过程(GP)作为元模型在科学和工程中被广泛使用。然而,标准GPS只能处理数字或定量变量。在本文中,我们介绍了潜在的地图高斯过程(LMGPs),继承了吸引力的性质的GP,也适用于混合数据,既有定量和定性的输入。LMGP背后的核心思想是学习一个连续的、低维的潜在空间或流形,它对所有定性输入进行编码。为了学习这个流形,我们首先为每个定性输入组合分配一个唯一的先验向量表示。然后,我们使用一个低秩线性映射投影这些先验的流形上的特征后表示。由于后验是定量的,它们可以直接用于任何标准的相关函数,如高斯或马特恩。因此,最佳映射和相应的流形,以及相关函数的其他超参数,可以通过极大似然估计系统地学习。通过广泛的分析和现实世界的例子,我们证明了LMGP的优势,在准确性和通用性方面的国家的最先进的方法。特别是,我们表明,LMGP可以处理可变长度的输入,有一个可解释的神经网络解释,并提供洞察定性输入如何影响响应或相互作用。我们还采用LMGP在贝叶斯优化和说明,他们可以发现最佳的化合物组合物更有效地比传统的方法,通过手动featurization组合物转化为定性变量。
2021-04-26 cs.AI cs.LG stat.AP
Sparse Gaussian Neural Processes
Helmholtz AI(海德堡人工智能研究所);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出稀疏高斯神经过程模型族,元学习稀疏高斯过程推断,实现快速预测并首次允许在神经过程中手动设定先验,适用于任务数少或有专家知识的场景。
2025-04-24 cs.LG stat.ML
Meta-Weighted Gaussian Process Experts for Personalized Forecasting of AD Cognitive Changes
Massachusetts Institute of Technology(麻省理工学院);Imperial College London(帝国理工学院)
我们引入了一种新的个性化高斯过程专家(pGPE)模型,用于预测每个受试者的ADAS-Cog 13认知评分-认知领域中阿尔茨海默病(AD)的重要预测因子-在未来6,12,18和24个月内。首先,我们使用基础高斯过程(GP)回归,使用来自先前观察到的受试者的多模态数据来训练人口水平模型。然后,我们通过使用域自适应GP,并通过训练特定于主题的GP,随着时间的推移,将基础GP顺序地适应于新的(目标)主题,来个性化此模型。虽然我们表明,这些模型在选择性地应用于预测任务时实现了更好的性能(在不同的主题/访问中,一个模型比另一个模型表现得更好),但每个模型的平均性能是次优的。为此,我们在建议的pGPE中使用了元学习的概念来设计这些专家模型的基于回归的权重,其中专家权重针对每个受试者及其未来的访问进行了优化。来自ADNI数据集的一组受试者的结果表明,这种新引入的专家模型的个性化加权在准确预测未来ADAS-Cog 13评分及其与AD进展相关的细粒度变化方面有了很大的改进。这种方法有可能帮助早期识别高危患者,并改善AD临床试验的建设。
2019-04-19 cs.LG stat.ML
Gaussian Process Meta Few-shot Classifier Learning via Linear Discriminant Laplace Approximation
Samsung AI Center(三星人工智能中心);University of Edinburgh(爱丁堡大学)
元学习Few-Shot分类是机器学习中的一个新兴问题,最近受到了极大的关注,其目标是学习一个模型,该模型可以快速适应新的任务,只有很少的标记数据。我们考虑贝叶斯高斯过程(GP)的方法,其中我们元学习的GP先验,并适应一个新的任务进行的GP预测模型从后验推理。我们采用拉普拉斯后验近似,但为了避免迭代梯度步骤,寻找MAP解决方案,我们引入了一种新的线性判别分析(LDA)插件作为MAP解决方案的替代品。在本质上,MAP解是由LDA估计近似的,但考虑到GP先验,我们采用先验范数调整来估计LDA的共享方差参数,这确保了调整后的估计与GP先验一致。这使得封闭形式的可微GP后验和预测分布成为可能,从而允许快速Meta训练。我们表现出相当大的改进,在以前的方法。
2021-12-13 cs.LG
A novel active learning-based Gaussian process metamodelling strategy for estimating the full probability distribution in forward UQ analysis
Guangzhou University(广州大学);ETH Zürich(苏黎世联邦理工学院)
提出了一种基于主动学习的高斯过程(AL-GP)元建模方法,用于估计前向不确定性量化(UQ)问题的累积和互补累积分布函数(CDF/CCDF)。在UQ领域,以前的研究集中在开发AL-GP方法的可靠性(罕见事件概率)分析昂贵的黑盒求解器。这些算法相对于不同CDF/CCDF阈值的朴素迭代将产生离散化CDF/CCDF。然而,这种方法不可避免地导致精度和计算效率之间的权衡,因为两者都取决于(以相反的方式)所选择的离散化。在这项研究中,一个专门的误差测量和学习功能的开发,使所得到的AL-GP方法能够有效地估计CDF/CCDF为一个指定的范围内的利益,而不显着依赖于离散化。特别地,所提出的AL-GP方法能够同时提供准确的CDF和CCDF估计在其中低概率区域。通过三个数值算例验证了该方法的有效性。
2019-08-27 cs.LG stat.AP stat.ML
Theoretical Analysis of Bayesian Optimisation with Unknown Gaussian Process Hyper-Parameters
University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院)
贝叶斯优化作为优化机器学习算法和模型的参数的工具已经获得了极大的普及。有点讽刺的是,设置贝叶斯优化方法的超参数是出了名的困难。虽然已经提出了合理的实际解决方案,但它们往往无法找到最佳的最佳方案。令人惊讶的是,在文献中几乎没有对这个关键问题进行理论分析。为了解决这个问题,我们推导出一个累积的遗憾界贝叶斯优化与高斯过程和未知的核超参数的随机设置。该界适用于期望的改进捕获函数和亚高斯观测噪声,为我们设计超参数估计方法提供了指导。一个简单的模拟演示了遵循这些准则的重要性。
2014-06-30 cs.LG stat.ML
Meta-learning Adaptive Deep Kernel Gaussian Processes for Molecular Property Prediction
University of Cambridge(剑桥大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了具有隐函数定理的自适应深度核拟合(ADKF-IFT),这是一种通过在元学习和传统深度核学习之间进行插值来学习深度核高斯过程(GP)的新框架。我们的方法采用了一个双层优化目标,在这个目标中,我们元学习了跨任务的一般有用的特征表示,从这个意义上说,在这些特征之上估计的特定于任务的GP模型平均实现了最低的预测损失。我们使用隐函数定理(IFT)解决由此产生的嵌套优化问题。我们证明了我们的ADKF-IFT框架包含以前提出的深度核学习(DKL)和深度核转移(DKT)作为特殊情况。虽然ADKF-IFT是一个完全通用的方法,我们认为,它是特别适合于药物发现的问题,并证明它显着优于以前的国家的最先进的方法在各种现实世界的Few-Shot分子性质预测任务和域外的分子性质预测和优化任务。
2023-02-17 cs.LG
Structural Model Updating Using Adaptive Multi-Response Gaussian Process Meta-modeling
利用频响函数作为输入的有限元模型修正是结构分析、设计和控制中的一个重要步骤。本文提出了一个高效的框架,是建立在高斯过程仿真,通过采样反向识别模型参数。特别地,多响应高斯过程(MRGP)元建模方法被公式化,其可以准确地构造误差响应表面,即,频率响应预测与实际测量之间的差异。为了减少重复有限元模拟的计算量,建立了一种自适应采样策略,其中未知参数的搜索由响应面特征引导。同时,先前采样的模型参数和相应的误差的信息被用作额外的训练数据来细化MRGP元模型。两种随机优化技术,即,粒子群和模拟退火被用来训练MRGP元模型以进行比较。系统的案例研究进行了检查的准确性和鲁棒性的模型更新的新框架。
2020-04-16 cs.CE eess.SP stat.CO
Stochastic simulators based optimization by Gaussian process metamodels - Application to maintenance investments planning issues
本文讨论随机计算机代码(也称为随机数值模型或随机模拟器)的元模型(即简化的数学模型)的构造,其中随机意味着代码映射了随机变量的实现。我们的目标是,对于一个给定的模型输入,通过使用这个元模型,而无需运行计算机代码,得到关于输出概率分布的主要信息。在实际应用中,这样的元模型使人们能够估计每一个可能的随机变量属性,如期望值,超过阈值的概率或任何分位数。目前的工作是集中在模拟的分位数函数的随机模拟器通过插值精心选择的基函数和metamodeling他们的系数(使用高斯过程元模型)。这个分位数函数元模型,然后使用随机代码来处理一个简单的优化策略维护问题,以优化经济指标的分位数。使用高斯过程框架,自适应设计方法(称为QFEI)定义在我们的情况下,著名的EGO算法的扩展。这允许使用少量的模拟器运行来获得“最优”解决方案。
2015-09-13 math.ST stat.TH
Meta Learning MPC using Finite-Dimensional Gaussian Process Approximations
近年来,数据可用性急剧增加,驱动基于模型的控制方法利用学习技术来改善系统描述,从而提高控制性能。阻碍学习方法在控制中的实用性的两个关键因素是它们的高计算复杂性和对未知条件的有限泛化能力。元学习是一个强大的工具,可以在有限的相关任务集上进行有效的学习,从而轻松适应新的未知任务。本文利用自适应模型预测控制的元学习方法,通过学习系统模型,利用以前的相关任务的数据,同时使快速微调到当前的任务在闭环操作。动态建模通过高斯过程回归,并建立在Karhunen-Lo{è}ve展开,可以近似地重新制定为一个有限的线性组合的内核特征函数。使用在一组任务上收集的数据,在元训练阶段通过最大化对数边际似然的变分界限来优化特征函数超参数。在元测试期间,特征函数是固定的,使得只有线性参数通过贝叶斯线性回归以在线自适应方式适应于新的看不见的任务,从而提供简单且有效的推理方案。仿真结果提供了自动赛车与微型赛车适应看不见的道路条件。
2022-11-21 cs.LG cs.SY eess.SY
Stochastic simulators based optimization by Gaussian process metamodels -- Application to maintenance investments planning issues
EDF Lab Chatou, Industrial Risk Management Department(EDF实验室夏图,工业风险管理部);EDF R&D(EDF研发)
本文提出基于高斯过程元模型的随机模拟器优化方法,用于解决维护投资规划问题,通过自适应设计方法优化NPV分位数。
2016-05-03 math.ST stat.ME stat.TH
Bayesian log-Gaussian Cox process regression: applications to meta-analysis of neuroimaging working memory studies
工作记忆是最早用功能磁共振成像研究的认知过程之一。目前,关于工作记忆的研究已经进行了20多年,每一项研究的样本量都很小,因此需要进行荟萃分析来确定工作记忆任务持续激活的大脑区域,并了解这些激活的研究间差异。然而,该领域的现有方法不能完全解释神经影像学荟萃分析数据的空间性质或WM研究中观察到的异质性。在这项工作中,我们提出了一个完全贝叶斯随机效应荟萃回归模型的基础上对数高斯Cox过程,可用于荟萃分析的神经影像学研究。本文提出了一种用于后验模拟的有效的马尔可夫链蒙特卡罗方法,它利用了图形处理器并行计算的最新进展。应用所提出的模型,一个真正的数据集提供了宝贵的见解有关的功能WM。
2019-12-19 stat.AP
Calculations of Sobol indices for the Gaussian process metamodel
复杂数值模型的全局敏感性分析可以通过计算输入变量的基于方差的重要性度量(例如Sobol指数)来执行。然而,这些技术,需要大量的模型评估,往往是不可接受的时间昂贵的计算机代码。一个众所周知的和广泛使用的决定包括用元模型代替计算机代码,预测模型响应与一个可以忽略不计的计算时间和渲染简单的估计Sobol指数。本文讨论了高斯过程模型,给出了Sobol指数的解析表达式。研究了两种计算Sobol指数的方法:第一种基于高斯过程模型的预测器,第二种基于全局随机过程模型。两种估计之间的比较,分析的例子,显示了第二种方法的收敛性和鲁棒性方面的优越性。此外,第二种方法允许集成的高斯过程模型的建模误差,直接给出一些置信区间的Sobol指数。最后将这些技术应用于一个水文地质建模实例。
2008-02-07 math.ST stat.ME stat.TH
Adaptive Batching for Gaussian Process Surrogates with Application in Noisy Level Set Estimation
University of California at Santa Barbara(加州大学圣巴巴拉分校)
我们发展了随机试验的高斯过程元模型的自适应复制设计。自适应优化是顺序设计优化的自然扩展,随着响应特性的学习、输入的集中和元建模开销的增加,复制的好处也会增加。针对模拟器平均响应水平集的学习问题,我们提出了四种新的方法:多级批处理(MLB)、棘轮批处理(RB)、自适应批处理逐步不确定性降低(ABSUR)、自适应设计逐步分配(ADSA)和确定性设计逐步分配(DDSA)。我们的算法同时(MLB,RB和ABSUR)或顺序(ADSA和DDSA)确定顺序设计输入和相应的重复次数。使用合成的例子和定量金融中的应用(通过回归蒙特卡罗的期权定价)的插图表明,自适应的递归带来了显着的计算速度与建模保真度的损失最小。
2021-07-13 cs.LG stat.ML
Bayesian inference for multiple Gaussian graphical models with application to metabolic association networks
我们调查镉(一种有毒的环境污染物)的相关结构上的一些尿代谢产物使用高斯图形模型(GGM)的影响。推断的代谢关联可以提供关于代谢系统的生理状态的重要信息和关于复杂代谢关系的见解。使用拟合的GGM,我们构建了差分网络,该网络突出了在不同实验条件下代谢物相互作用的显著变化。对这种代谢关联网络的分析可以揭示镉暴露引起的潜在生物反应的差异。我们考虑贝叶斯推断,并建议使用乘法(或Chung-Lu随机图)模型作为先验的图形空间。在乘法模型中,每条边都是独立选择的,其概率等于端节点的连通性的乘积。这类先验知识很节俭,但高度灵活;当有此类先验知识时,它可用于鼓励稀疏性或具有预先指定度分布的图形。我们将乘法模型扩展到多个GGM,通过逻辑斯谛回归将边缘包含的概率联系起来,并演示了这如何导致多个GGM的联合推理。提出了一种估计图的后验分布的序贯蒙特卡罗(SMC)算法。
2017-04-13 stat.ME
BITS for GAPS: Bayesian Information-Theoretic Sampling for hierarchical GAussian Process Surrogates
Department of Chemical and Biomolecular Engineering, University of Notre Dame, Notre Dame, IN 46556, USA(化学与生物分子工程系,诺特大学)
提出BITS for GAPS框架,通过贝叶斯层次建模将超参数不确定性传播到采样准则中,实现基于高斯过程代理模型的信息论实验设计,并在汽液平衡案例中验证其提升预测精度和信息增益的效果。
2026-03-23 cs.LG stat.ML
Gaussian Function On Response Surface Estimation
The University of Georgia(佐治亚大学)
我们提出了一个新的框架2-D解释(功能和样本)黑盒机器学习模型通过元建模技术,通过它,我们研究的输出和输入关系的底层机器学习模型。元模型可以通过对感兴趣区域中的数据样本运行计算机实验,从经由训练的复杂模型生成的数据中估计。我们利用高斯过程作为替代来捕获复杂模型的响应面,其中我们在该过程中包含两个部分:由先验协方差函数控制的平稳高斯过程Z建模的内插值,以及捕获底层模型中已知趋势的均值函数μ。变量重要性参数θ的优化过程是使似然函数最大化。该theta对应于个体变量与目标响应的相关性。不需要任何预先假设的模型,因为它依赖于经验观察。实验表明,通过定量评估的预测样本的可解释的模型的潜力。
2021-01-04 cs.LG stat.ML
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University(北京大学)
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下,将后验抽样应用于无模型强化学习,提出了连续状态空间下的高斯过程后验抽样强化学习(GPPSTD)算法,给出了理论证明和实验结果.我们也提供了理论和实证结果,各种示范可以降低预期的不确定性,有利于后验抽样探索。通过这种方式,我们将演示和探索过程结合在一起,实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
Annealing in variational inference mitigates mode collapse: A theoretical study on Gaussian mixtures
Departement d’Informatique, École Normale Supérieure, Université PSL, CNRS(信息学院,巴黎高等师范学院,巴黎理工大学,CNRS);Laboratoire de Physique de l’École Normale Supérieure, Université PSL, CNRS(巴黎高等师范学院物理实验室,巴黎理工大学,CNRS)
本文通过理论分析证明退火策略能有效缓解变分推断中的模式崩溃问题,并验证其在神经网络模型中的适用性。
2026-11-10 cs.LG stat.ML
Transductive Log Opinion Pool of Gaussian Process Experts
University of Toronto(多伦多大学)
我们介绍了一个框架,分析高斯过程(GP)的专家,独立训练的GP专家组合的方式,取决于测试点定位,以规模的GP大数据的转导组合。该框架提供了一些理论依据的广义产品的GP专家(gPoE GP),这是以前被证明在实践中工作得很好,但缺乏理论基础。基于所提出的框架,gPoE-GP的改进,并进行了实证验证。
2015-11-24 cs.LG stat.ML
Incremental Ensemble Gaussian Processes
University of Minnesota(明尼苏达大学);Digital Technology Center(数字技术中心)
高斯过程(GP)属于贝叶斯非参数化方法,它不仅在学习一类非线性函数方面具有良好的性能,而且在量化相关的不确定性方面也具有良好的性能。然而,大多数GP方法依赖于单个预选的核函数,这可能无法表征在时间关键型应用中顺序到达的数据样本。为了使{ \it online}内核自适应,目前的工作提倡一个增量集成(IE-)GP框架,其中EGP元学习器采用GP学习器的{ \it集成},每个学习器具有属于规定的内核字典的唯一内核。在每个GP专家利用基于随机特征的近似来执行在线预测和具有{ \it可扩展性}的模型更新的情况下,EGP元学习器利用数据自适应权重来合成每个专家的预测。此外,新的IE-GP一般化,以适应时变函数建模结构化动态在EGP元学习器和每个GP学习器。为了在违反建模假设的对抗环境中对IE-GP及其动态变体的性能进行基准测试,通过后悔的概念进行了严格的性能分析,作为在线凸优化的规范。最后,在IE-GP框架下,研究了在线无监督学习降维方法。合成和实际数据测试表明,所提出的方案的有效性。
2021-10-13 cs.LG stat.ML
Missing data imputation using a truncated Gaussian infinite factor model with application to metabolomics data
本文提出截断高斯无限因子分析(TGIFA)模型,在尊重物理约束的同时捕捉高维依赖,通过贝叶斯推断和高效MCMC算法实现代谢组学缺失数据的填补及不确定性量化。
2025-08-21 stat.ME
Group kernels for Gaussian process metamodels with categorical inputs
高斯过程(GP)被广泛用作仿真耗时的计算机代码的元模型。我们专注于涉及分类输入的问题,具有潜在的大量L的水平(通常是几十个),划分在G << L组的各种大小。然后,可以通过块协方差阵T来定义简约的协方差函数或核,其中块对之间和块内的协方差恒定。我们研究这种矩阵的正定性,以鼓励他们的实际应用。等效于嵌套贝叶斯线性模型的分层组/水平结构提供了有效块矩阵T的参数化。然后,当放松块内的假设时,可以使用相同的模型,给出有效的协方差阵的灵活参数族,其中块对之间具有恒定的协方差。T的正定性等价于大小为G的较小矩阵的正定性,通过平均每个块获得。该模型被应用于核废料分析中的一个问题,其中的分类输入之一是原子序数,它有90多个级别。
2018-07-24 math.ST stat.ME stat.TH
Theoretical Analysis of Heteroscedastic Gaussian Processes with Posterior Distributions
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本文提出异方差高斯过程后验分布的理论分析框架,推导其精确均值、方差和累积分布,并将结果用于机会约束跟踪控制器以应对未知扰动。
2024-09-19 cs.LG math.OC
A Dynamic, Ordinal Gaussian Process Item Response Theoretic Model
Washington University in St Louis(圣路易斯华盛顿大学)
本文结合贝叶斯非参数IRT与高斯过程时间序列方法,提出GD-GPIRT模型及MCMC采样算法,用于估计随时间变化的序数潜在特质,并在模拟和实际研究中验证了其有效性。
2025-04-03 cs.LG stat.ME
Lightweight Gaussian Process Inference in C++ on Metal and CUDA
Department of Information Management, National Taiwan University(国立台湾大学信息管理系);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
本文提出LightGP,一个无需依赖的C++17库,用于高斯过程回归,支持Apple Metal和NVIDIA CUDA后端,以及通过Apple Accelerate和OpenBLAS优化的CPU路径。LightGP提供了四种推断路径,覆盖从N=100到N=500,000的问题规模,并在不同硬件上实现了显著的性能提升。
2026-05-18 cs.LG
Information-Theoretic Safe Exploration with Gaussian Processes
Bosch Center for Artificial Intelligence(博世人工智能中心);Technische Universität Darmstadt(达姆施塔特工业大学)
我们考虑一个顺序的决策任务,我们不允许评估参数,违反了先验未知(安全)约束。一种常见的方法是将高斯过程放在未知约束的前面,并且只允许在具有高概率的安全区域中进行评估。目前大多数方法依赖于域的离散化,不能直接扩展到连续的情况下。此外,他们利用约束的正则性假设的方式引入了一个额外的临界超参数。在本文中,我们提出了一个信息理论的安全探索标准,直接利用GP后,以确定最翔实的安全参数进行评估。我们的方法自然适用于连续域,并且不需要额外的超参数。我们从理论上分析的方法,并表明,我们不违反安全约束的概率很高,我们探索学习的约束到任意精度。实证评估表明,数据效率和可扩展性得到了提高。
2022-12-09 cs.LG
Metamodel-based sensitivity analysis: Polynomial chaos expansions and Gaussian processes
全局敏感性分析现已成为确定导致模型输出预测不确定性的关键随机输入参数的一种强有力的方法。然而,所谓的Sobol指数的经典计算是基于蒙特卡罗模拟,这是不负担得起的计算昂贵的模型时,使用,因为它是在大多数应用中的工程和应用科学的情况。在这方面,元模型,如多项式混沌展开(PCE)和高斯过程(GP)在过去几年中受到了极大的关注,因为它们允许一个替代品,这是从一个有限大小的试验设计建立取代原来的,征税模型。然后,该代理可以用来计算灵敏度指数在可忽略的时间。本章将介绍每种技术,重点介绍它们在全局敏感性分析中的优势和局限性。特别是,Sobol'(resp.总Sobol ′)指数可以从PCE系数解析地计算。与此相反,敏感性指数的置信区间可以直接从GP的属性中导出。这两种技术的性能最后比较三个著名的分析基准(Ishigami,G-Sobol和Morris函数),以及在一个现实的工程应用(桁架结构的挠度)。
2016-06-14 stat.CO
Adaptive active subspace-based metamodeling for high-dimensional reliability analysis
针对高维可靠性分析难题,提出一种活动子空间、异方差高斯过程与主动学习自适应耦合的元建模方法,并通过非线性函数和结构工程算例验证其性能。
2023-04-13 stat.AP
An efficient methodology for modeling complex computer codes with Gaussian processes
复杂的计算机代码通常太耗费时间而不能直接用于执行不确定性传播研究、全局敏感性分析或解决优化问题。一个众所周知的和广泛使用的方法,以规避这种不便之处在于取代复杂的计算机代码的简化模型,称为元模型,或响应面,代表计算机代码,并需要可接受的计算时间。研究了一类特殊的元模型:高斯过程模型,其特征在于它的平均值和协方差函数。一个特定的估计程序开发调整高斯过程模型在复杂的情况下(非线性关系,高度分散或不连续的输出,高维输入,不充分的抽样设计,.)。该算法的效率相比,其他现有的算法的分析测试用例的效率。所提出的方法也说明了一个复杂的水文地质计算机代码的情况下,模拟放射性核素在地下水中的运输。
2008-04-06 stat.AP
A Singularity Criterion for Countable Gaussian Mixtures Based on the Feldman-Hajek Theorem
本文基于Feldman-Hajek定理,研究了可数高斯混合模型在无限维情况下的奇异性质,推导出混合模型的奇异条件,并通过数值实验验证了高维混合模型中分离性的增强机制。
2026-06-29 math.ST stat.TH
Frequentist optimality of Bayesian wavelet shrinkage rules for Gaussian and non-Gaussian noise
本文研究了独立同分布非参数回归模型中各种贝叶斯小波收缩规则的理论性能。误差不一定是正态分布的。主要目的是比较各种贝叶斯模型在Sobolev和Besov空间中的频率论渐近最优性。我们建立了超参数之间的关系,验证了迄今为止研究的大多数贝叶斯模型都达到了理论最优,说明了哪些贝叶斯模型不能达到最优收敛速度,并解释了为什么会发生这种情况。
2006-07-01 math.ST stat.TH
MetaGS: A Meta-Learned Gaussian-Phong Model for Out-of-Distribution 3D Scene Relighting
MetaGS通过元学习训练3D高斯点散射模型,结合Blinn-Phong物理先验,提升分布外3D场景重照明的鲁棒性和准确性。
2026-03-16 cs.CV cs.LG
Gaussian meta-embeddings for efficient scoring of a heavy-tailed PLDA model
Nuance Communications(Nuance通信公司);Brno University of Technology(布尔诺理工大学);University of Nottingham(诺丁汉大学);Omilia Conversational Intelligence(Omilia对话智能公司)
机器学习中的嵌入是复杂输入模式的低维表示,具有简单几何运算(如欧几里得距离和点积)可用于分类和比较任务的特性。所提出的元嵌入是存在于更一般的内积空间中的特殊嵌入。它们被设计成将不确定性传播到说话人识别和类似应用中的最终输出。熟悉的高斯PLDA模型(GPLDA)可以被重新公式化为高斯元嵌入(GME)的提取器,使得似然比分数由高斯似然函数之间的希尔伯特空间内积给出。GPLDA模型提取的GME具有固定的精度,不会传播不确定性。我们发现,一个推广到重尾PLDA给GME变量精度,传播不确定性。在NIST SRE 2010和2016上的实验表明,该方法应用于没有长度归一化的i向量比GPLDA应用于长度归一化的i向量的准确率高出20%。
2018-02-27 cs.CL cs.LG stat.ML
TIMRL: A Novel Meta-Reinforcement Learning Framework for Non-Stationary and Multi-Task Environments
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院)
针对现有元强化学习用高斯分布提取任务表征、适配非平稳多任务环境效果差的问题,提出结合高斯混合模型与transformer的TIMRL框架,经MuJoCo基准验证,提升了样本效率与任务分类准确率。
2025-01-13 cs.AI cs.LG
A Distribution-Dependent Analysis of Meta-Learning
University of Alberta(阿尔伯塔大学);DeepMind(深度思维)
元学习理论中的一个关键问题是理解任务分布如何影响迁移风险,即元学习者对未知任务分布的新任务的预期错误。在本文中,专注于固定设计的线性回归高斯噪声和高斯任务(或参数)分布,我们给分布依赖的下限上的任何算法的转移风险,同时我们也表明,一种新的,加权版本的所谓的有偏正则化回归方法是能够匹配这些下限到一个固定的常数因子。值得注意的是,加权是从高斯任务分布的协方差导出的。总而言之,我们的研究结果提供了一个精确的描述在这种高斯设置的元学习的难度。虽然这个问题的设置可能看起来很简单,我们表明,它是足够丰富的统一的“参数共享”和“表示学习”流的元学习,特别是,表示学习作为特殊情况下,任务分布的协方差阵是未知的。对于这种情况下,我们建议采用EM方法,这是在我们的情况下,享受有效的更新。最后,本文通过对EM的实证研究来完成。特别是,我们的实验结果表明,期望最大化算法可以达到下界的任务数量的增长,而该算法也是成功的竞争时,其替代品用于表示学习的上下文中。
2021-06-14 cs.LG stat.ML
Gaussian Process Latent Variable Modeling for Few-shot Time Series Forecasting
Department of Computer Science, Aalborg University(奥尔堡大学计算机科学系);Department of Computer Science, East China Normal University(华东师范大学计算机科学系);Huawei Cloud Database Innovation Lab(华为云数据库创新实验室);University of Electronic Science and Technology of China(电子科技大学)
针对少样本时间序列预测中难以捕捉长期依赖和显式建模元知识的问题,提出基于元学习的高斯过程潜变量模型MetaGP,并引入核关联搜索组件,在模拟和真实数据集上达到最先进预测精度。
2025-06-21 cs.LG
Decoupling Meta-Reinforcement Learning with Gaussian Task Contexts and Skills
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川人工智能研究院)
针对离线元强化学习先验经验泛化不足的问题,本文提出DCMRL,通过对比任务上下文学习与GQ-VAE分别聚类并解耦上下文和技能潜空间,提升未知任务适应性能。
2023-12-11 cs.LG
UCB for Large-Scale Pure Exploration: Beyond Sub-Gaussianity
Technology and Operations Management Area, INSEAD, Fontainebleau, France(INSEAD技术与运营管理领域,法国Fontainebleau);Advanced Institute of Business and School of Economics and Management, Tongji University, Shanghai, China(同济大学商学院高级商学院与经济管理学院,中国上海);Department of Industrial and Systems Engineering, University of Minnesota, Minneapolis, Minnesota(明尼苏达大学工业与系统工程系,美国明尼苏达州明尼阿波利斯)
本文提出元UCB算法,用于解决大规模纯探索问题中的非亚高斯分布情况,证明其在非亚高斯条件下实现样本最优性。
2026-08-28 cs.LG stat.ML
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University(西蒙弗雷泽大学)
本文从信息论角度研究元强化学习中的分布外泛化,推导了两种分布偏移场景下的泛化界限,并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis
Université Laval(拉瓦尔大学)
我们得到一个新的信息理论分析的泛化性能的元学习算法。具体地说,我们的分析提出了一个通用的理解传统的学习到学习的框架和现代模型无关的元学习(MAML)算法。此外,我们还为MAML的随机变体提供了一个数据依赖的泛化界,这对于深度少样本学习来说是非空的。与依赖于梯度的平方范数的以前的界限相比,对模拟数据和一个著名的Few-Shot基准的经验验证表明,我们的界限在大多数情况下是数量级更紧。
2021-12-10 cs.LG stat.ML
Fundamental Limits of Obfuscation for Linear Gaussian Dynamical Systems: An Information-Theoretic Approach
New York University(纽约大学)
在本文中,我们研究的基本限制混淆的隐私失真权衡线性高斯动力系统通过信息论的方法。特别是,我们得到的分析公式,捕捉基本的隐私失真权衡时,隐私掩码被添加到动态系统的输出,同时明确指出如何设计的隐私掩码在一个最佳的方式:隐私掩码应该是彩色高斯与功率谱形状具体基于系统和噪声属性。
2020-10-29 cs.CR cs.IT cs.LG
A Unified Information-Theoretic Framework for Meta-Learning Generalization
School of Computer Science of Technology(科技学院计算机科学系);School of Biomedical Informatics(生物医学信息学系);Department of Oncology(肿瘤学系);Department of Computer Science and Technology(计算机科学与技术系)
本文提出统一的单步信息论框架,推导出更紧致的元泛化界,并通过梯度协方差分析为噪声和迭代元学习算法提供了新的理论见解。
2025-09-28 cs.LG math.ST stat.ML
Information Theoretic Optimal Learning of Gaussian Graphical Models
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
可以正确恢复稀疏高斯图模型的最佳独立观测数是多少?信息论的论点提供了一个下限的最小数量的样本,以完美地识别支持任何多元正态分布作为模型参数的函数。对于在具有$p$节点、最大度$d$和最小归一化边缘强度$κ$的稀疏图上定义的模型,该必要数量的样本至少缩放为$d \log p/κ^2$。完美图重构的现有方法的样本复杂性要求表现出对不进入下限的附加参数的依赖性。这个下界是否是紧的,是否可以用多项式时间算法实现,这个问题仍然没有解决。在本文中,我们建设性地回答了这个问题,并提出了一个算法,称为骰子,其样本复杂度匹配的信息理论下限到一个普遍的常数因子。我们还提出了一个相关的算法SLICE,具有略高的样本复杂度,但可以实现为一个混合整数二次规划,这使得它在实践中有吸引力。重要的是,SLICE保留了DICE的一个关键优势,即其样本复杂度仅取决于信息论下限中的数量。我们预计,这一结果将刺激未来的搜索计算效率的样本优化算法。
2018-11-18 cs.IT cs.LG math.IT