Active learning for enumerating local minima based on Gaussian process derivatives
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Nagoya Institute of Technology(名古屋工业大学);Kyoto University(京都大学);National Institute for Materials Science(物质材料研究机构)
我们研究主动学习(AL)的基础上高斯过程(GP)的有效枚举所有的局部最小解的黑盒函数。这个问题是具有挑战性的,因为局部解的特征在于它们的零梯度和正定Hessian性质,但这些导数不能直接观察到。我们提出了一种新的AL方法,在该方法中,输入点被顺序选择,从而有效地更新GP导数的置信区间,以枚举局部最小解。我们从理论上分析了所提出的方法,并通过数值实验证明了其有效性。
2019-03-08 cs.LG stat.ML
Active Learning for Manifold Gaussian Process Regression
Dept. of Applied Mathematics(应用数学系);Illinois Institute of Technology(伊利诺伊理工学院);Dept. of Mathematics and Statistics(数学与统计学系);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);Dept. of Mathematics(数学系);University of California Riverside(加州大学河滨分校)
本文提出一种结合manifold学习和策略性数据选择的主动学习框架,用于高维空间中的高斯过程回归。通过联合优化神经网络和高斯过程回归器,提升预测准确性,实验显示优于随机顺序学习。
2025-06-26 cs.LG stat.ML
Safe Active Learning for Multi-Output Gaussian Processes
Bosch Center for Artificial Intelligence(博世人工智能中心)
多输出回归问题是科学和工程中经常遇到的问题。特别是,多输出高斯过程已经成为一个有前途的工具,这些复杂的系统建模,因为它们可以利用固有的相关性,并提供可靠的不确定性估计。然而,在许多应用中,获取数据是昂贵的,并且可能会出现安全问题(例如机器人,工程)。提出了一种安全的多输出高斯过程回归的主动学习方法。该方法查询最具信息性的数据或输出,同时考虑回归量和安全约束之间的相关性。我们证明了我们的方法的有效性,通过提供理论分析,并通过模拟数据集和现实世界的工程数据集上展示的实证结果。在所有数据集上,与竞争对手相比,我们的方法显示出更好的收敛性。
2022-03-28 cs.LG stat.ML
Revisiting Active Sets for Gaussian Process Decoders
Technical University of Denmark (DTU)(丹麦技术大学)
由于非线性函数空间的边缘化,基于高斯过程(GP)构建的解码器非常诱人。这样的模型(也称为GP-LVMs)通常是昂贵的,并且在实践中训练非常困难,但是可以使用变分推断和诱导点来缩放。在本文中,我们重新活跃集近似。我们开发了一个新的随机估计的对数边际似然最近发现的链接交叉验证的基础上,并提出了一个计算效率的近似。我们证明,由此产生的随机活动集(SAS)近似显着提高了GP解码器训练的鲁棒性,同时降低了计算成本。SAS-GP在潜在空间中获得更多的结构,扩展到许多数据点,并比变分自编码器学习更好的表示,这对于GP解码器来说是罕见的。
2022-11-24 cs.LG stat.ML
Predictive Active Set Selection Methods for Gaussian Processes
我们提出了一个积极的集合选择框架高斯过程分类的情况下,数据集是足够大,使其推理禁止。我们的方案由活动集更新规则和基于边际似然最大化的超参数优化的两步交替过程组成。活动集更新规则依赖于高斯过程分类器的预测分布的能力,以估计数据点在被包括或从模型中移除时的相对贡献。这意味着我们可以使用它来包含对分类器决策过程具有潜在高影响的点,同时删除那些不太相关的点。我们介绍了两个基于不同标准的活动集规则,第一个更喜欢一个模型与可解释的活动集参数,而第二个把计算复杂性放在第一位,因此一个模型与活动集参数,直接控制其复杂性。我们还提供了理论和经验支持,我们的积极集选择策略是一个很好的近似一个完整的高斯过程分类。我们广泛的实验表明,我们的方法可以与国家的最先进的分类技术与合理的时间复杂度。源代码可在http://cogsys.imm.dtu.dk/passgp上公开获取。
2011-06-23 stat.ML
Deep Intrinsic Coregionalization Multi-Output Gaussian Process Surrogate with Active Learning
本文提出深度内在共区域化多输出高斯过程代理模型deepICMGP,通过分层共区域化结构建模多输出间的非线性依赖,并结合主动学习优化序贯设计,在多输出系统模拟实验中表现优异。
2025-08-22 cs.LG stat.ML
Actively Learning Gaussian Process Dynamics
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);MINES ParisTech(巴黎高等矿业学院);PSL University(巴黎文理研究大学)
尽管通过现代传感器和计算机技术可以获得更多的数据,但以样本有效的方式学习动力系统仍然是一个悬而未决的问题。我们提出了主动学习策略,利用高斯过程回归过程中自然产生的信息理论属性,同时尊重系统动态对采样过程的约束。样本点在具有高不确定性的区域中选择,从而导致模型的探索性行为和数据有效性训练。所有结果最终验证了广泛的数值基准。
2020-04-26 cs.LG cs.RO stat.ML
Deeper Connections between Neural Networks and Gaussian Processes Speed-up Active Learning
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(斯科尔科沃理工学院))
神经网络的主动学习方法通常基于贪婪准则,该准则最终给出用于评估的单个新设计点。这样的方法需要在一次主动学习迭代中对一批设计点进行采样的一些算法,或者在添加每个数据点之后重新训练神经网络,这在计算上是低效的。此外,神经网络的不确定性估计有时对远离训练样本的点过于自信。在这项工作中,我们提出通过高斯过程来逼近贝叶斯神经网络(BNN),这使我们能够有效地更新预测的不确定性估计,而无需重新训练神经网络,同时避免对样本点的过度自信的不确定性预测。在一系列的实验中,包括大规模的化学和物理建模问题的真实世界的数据,我们显示出所提出的方法比国家的最先进的方法的优越性。
2019-02-27 cs.LG stat.ML
Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes
Stanford University(斯坦福大学);Meta;Washington State University(华盛顿州立大学)
本文提出直接针对导数型全局敏感性度量(DGSMs)的主动学习采集函数,在高斯过程代理模型下通过方差缩减和信息增益策略提升昂贵黑盒函数敏感性分析的样本效率,并在合成与真实问题上验证了其在有限预算下的显著优势。
2024-10-19 cs.AI cs.LG stat.ML
Safe Active Learning for Time-Series Modeling with Gaussian Processes
Bosch Center for Artificial Intelligence(博世人工智能中心)
本研究提出一种在安全约束下主动学习高斯过程时间序列模型的方法,通过动态探索输入空间生成轨迹数据,并在技术应用中验证了其有效性。
2024-02-09 cs.LG stat.ML
Near-Optimal Active Learning of Multi-Output Gaussian Processes
National University of Singapore(新加坡国立大学)
研究了多输出高斯过程模型的主动学习问题。与现有的工作相比,我们的主动学习问题不仅涉及选择要观察的信息量最大的采样位置,而且还涉及选择每个选定位置处的测量类型,以最小化预测不确定性(即,后验联合熵)。不幸的是,这样的熵准则在优化时在候选采样位置和所选观测的数量上的比例很差。为了解决这个问题,我们首先利用稀疏MOGP模型的共同结构,推导出一种新的主动学习标准。然后,我们利用我们的新标准,设计一个多项式时间近似算法,保证了一个常数因子近似的最佳的一组选定的意见,实现了一个宽松的形式的子模块属性。在真实数据集上的实验结果表明,该方法在MOGP和单输出GP模型的主动学习方面优于现有算法。
2015-11-24 cs.AI cs.LG stat.ML
Ensemble-localized Kernel Density Estimation with Applications to the Ensemble Gaussian Mixture Filter
本文提出一种集合局部协方差核密度估计(KDE)技术以提升 EnGMF 滤波器性能,证明了其在高斯情况下与传统方法等价,并在非高斯分布、二元问题和 Lorenz '63 方程序贯滤波中显著降低了误差。
2024-05-31 cs.NA math.NA math.OC
Active emulation of computer codes with Gaussian processes -- Application to remote sensing
Universitat de València(瓦伦西亚大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
许多科学和工程领域依赖于使用复杂且计算昂贵的模型来运行模拟,以了解感兴趣系统中的相关过程。然而,所涉及的高成本妨碍了可靠和详尽的模拟。这种守则往往包含一些具有讽刺意味的技巧,使它们不那么容易处理和透明。本文介绍了一种主动学习方法,自适应地构建代理模型,即仿真器,这样昂贵的计算机代码在多输出设置。所提出的技术是顺序和自适应的,是基于一个合适的采集功能的优化。它旨在实现精确的近似,模型的易处理性,以及紧凑和表达的模拟数据集。为了实现这一点,建议的主动多输出高斯过程仿真器(AMOGAPE)结合高斯过程(GP)的预测能力与采集功能的设计,有利于采样在低密度和波动区域的近似函数。比较不同的采集功能,我们说明了有前途的性能的方法与玩具的例子,以及广泛使用的遥感传输代码的仿真器的建设。
2019-12-13 cs.LG stat.ML
Projection based Active Gaussian Process Regression for Pareto Front Modeling
Fudan University(复旦大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
Pareto Front(PF)建模在经济学、医学或工程等所有领域的决策问题中都是必不可少的。在运筹学文献中,这一任务已经基于多目标优化算法得到了解决。然而,如果没有PF的学习模型,这些方法不能检查新提供的点是否位于PF上。本文从数据采掘的角度对这一课题进行了重新思考。提出了一种新的基于投影的主动高斯过程回归(P-aGPR)方法.首先,P-aGPR选择一系列维数从低到高排列的投影空间.接下来,在每个投影空间中,训练高斯过程回归(GPR)模型来表示PF在该空间中应满足的约束。此外,为了提高建模效率和稳定性,主动学习框架已开发利用GPR模型中获得的不确定性信息。与现有方法不同的是,我们提出的P-aGPR方法不仅可以提供一个生成的PF模型,而且可以快速检查一个提供的点是否位于PF上。数值结果表明,与现有被动学习方法相比,P-aGPR方法具有更高的建模精度和稳定性。
2020-01-20 cs.LG stat.ML
Active Learning with Weak Supervision for Gaussian Processes
Linköping University(林雪平大学);Chalmers University of Technology(查尔姆斯理工大学)
针对监督学习标注成本高、预算有限的问题,提出一种可同时选择待标注样本和标注精度的高斯过程主动学习算法,基于BALD目标构建采集函数,实验证明该方法可在相同预算下探索更大输入空间并提升性能。
2024-08-16 cs.LG stat.ML
Active Learning of Piecewise Gaussian Process Surrogates
Department of Industrial and Systems Engineering, University of Washington(华盛顿大学工业与系统工程系);Materials and Manufacturing Directorate, Air Force Research Laboratory(空军研究实验室材料与制造 Directorate);Department of Industrial Engineering, Pusan National University(釜山国立大学工业工程系);Department of Statistics, Virginia Tech(弗吉尼亚理工学院统计系)
本文提出分段跳跃高斯过程代理模型的主动学习方法,强调模型偏差估计的重要性,并在合成基准和真实模拟实验中验证其优势。
2025-09-08 cs.LG stat.ML
Fantasizing with Dual GPs in Bayesian Optimization and Active Learning
Aalto University(阿尔托大学)
高斯过程(GP)是用于序列建模的主要替代函数,如贝叶斯优化和主动学习。它们的缺点是数据缩放能力差,并且在使用非高斯似然时需要运行优化循环。在本文中,我们专注于“幻想”批量采集功能,需要的能力条件下,新的幻想数据计算效率。通过使用稀疏双GP参数化,我们获得了线性缩放批量大小以及非高斯似然的一步更新,从而将稀疏模型扩展到贪婪批量幻想采集函数。
2022-11-02 cs.LG stat.ML
Combining additivity and active subspaces for high-dimensional Gaussian process modeling
Secondmind(第二思维)
针对高维高斯过程建模中的维度灾难,提出结合可加性与活动子空间,并引入多保真度策略,实验验证了其优势。
2026-10-08 math.OC stat.ML
Active Learning with Gaussian Processes for High Throughput Phenotyping
Carnegie Mellon University(卡内基梅隆大学)
在机器人植物表型分析能力对作物改良计划产生重大影响之前,必须解决的一个迫在眉睫的问题是可扩展性。高产量表型分析(HTP)使用机器人技术来分析作物,以确定具有有利性状的物种,然而,目前的实践依赖于从育种实验下被监测的整个作物田的详尽覆盖和数据汇集。这在相对较小的农业领域效果很好,但不能扩展到较大的领域,从而限制了遗传学研究的进展。在这项工作中,我们提出了一个主动学习算法,使一个自治的系统,以收集最翔实的样本,以准确地学习在该领域的表型分布的帮助下,高斯过程模型。我们证明了我们提出的算法相比,高粱表型数据汇集目前的做法优越的性能。
2019-01-21 cs.AI cs.LG cs.RO
Distributionally Robust Active Learning for Gaussian Process Regression
Nagoya University(名古屋大学);RIKEN AIP(日本理化学研究所AIP);Nagoya Institute of Technology(名古屋工业大学);DENSO CORPORATION(电装株式会社)
本文针对高斯过程回归提出两种分布鲁棒主动学习方法,通过最小化目标分布候选集上的最坏情况期望误差,在理论上保证有限标签下误差可任意小,并在合成与真实数据上验证了有效性。
2025-07-07 cs.LG stat.ML
A novel active learning-based Gaussian process metamodelling strategy for estimating the full probability distribution in forward UQ analysis
Guangzhou University(广州大学);ETH Zürich(苏黎世联邦理工学院)
提出了一种基于主动学习的高斯过程(AL-GP)元建模方法,用于估计前向不确定性量化(UQ)问题的累积和互补累积分布函数(CDF/CCDF)。在UQ领域,以前的研究集中在开发AL-GP方法的可靠性(罕见事件概率)分析昂贵的黑盒求解器。这些算法相对于不同CDF/CCDF阈值的朴素迭代将产生离散化CDF/CCDF。然而,这种方法不可避免地导致精度和计算效率之间的权衡,因为两者都取决于(以相反的方式)所选择的离散化。在这项研究中,一个专门的误差测量和学习功能的开发,使所得到的AL-GP方法能够有效地估计CDF/CCDF为一个指定的范围内的利益,而不显着依赖于离散化。特别地,所提出的AL-GP方法能够同时提供准确的CDF和CCDF估计在其中低概率区域。通过三个数值算例验证了该方法的有效性。
2019-08-27 cs.LG stat.AP stat.ML
Active Learning for Deep Gaussian Process Surrogates
深度高斯过程(DGP)作为机器学习(ML)中的预测模型越来越受欢迎,因为它们具有非平稳的灵活性和应对训练数据中突然变化的能力。在这里,我们探讨DGP作为计算机模拟实验的替代品,其响应面表现出类似的特性。特别是,我们通过一种新的椭圆切片采样(ESS)贝叶斯后验推理方案,将DGP的输入空间自动扭曲和全不确定性量化(UQ)传输到主动学习(AL)策略,该策略在输入空间中不均匀分布运行-这是普通(静止)GP无法做到的。以这种方式顺序构建设计允许较小的训练集,限制了模拟器代码的昂贵评估并减轻了DGP推理的立方成本。当训练数据大小通过仔细采集保持较小时,并且具有潜在层的简约布局,该框架可以是有效的且计算上易于处理的。我们的方法在模拟数据和两个不同输入维度的真实计算机实验上进行了说明。我们在CRAN上的“deepgp”包中提供了一个开源实现。
2021-08-26 stat.CO stat.ME stat.ML
Active Learning via Heteroskedastic Rational Kriging
针对平稳高斯过程主动学习在设计点分布上的浪费问题,提出异方差有理克里金高斯过程模型,使设计点聚焦于响应面关键区域以提升代理模型精度,且速度快数个数量级。
2025-07-15 stat.CO stat.ME
Adaptive active subspace-based metamodeling for high-dimensional reliability analysis
针对高维可靠性分析难题,提出一种活动子空间、异方差高斯过程与主动学习自适应耦合的元建模方法,并通过非线性函数和结构工程算例验证其性能。
2023-04-13 stat.AP
Bayesian Clustering via Fusing of Localized Densities
针对贝叶斯聚类中核函数错误设定导致簇被错误分裂的问题,提出基于局部密度融合(FOLD)的新方法,利用后验分布融合成分,在核错误设定下保持聚类最优性并减少簇数。
2024-07-26 stat.ME
Efficient Graph-Based Active Learning with Probit Likelihood via Gaussian Approximations
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种新的适应主动学习基于图的半监督学习(SSL)下的非高斯贝叶斯模型。我们提出了一个近似的非高斯分布,以适应以前高斯为基础的采集功能,这些更一般的情况下。我们开发了一个有效的排名一更新应用“前瞻”为基础的方法,以及模型再培训。我们还介绍了一种新的“模型变化”采集功能的基础上,这些近似,进一步扩大了可用的收集主动学习采集功能的方法。
2020-07-21 cs.LG stat.ML
Localized Physics-informed Gaussian Processes with Curriculum Training for Topology Optimization
University of California, Irvine(加州大学欧文分校)
本研究提出一种基于物理信息高斯过程的无网格拓扑优化框架,通过定制DNN参数化共享多输出均值函数,结合局部损失权重与课程训练,在斯托克斯流耗散功率最小化问题上表现优于商用COMSOL。
2025-03-18 cs.LG
Optimal experimental design via Bayesian optimization: active causal structure learning for Gaussian process networks
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Amazon(亚马逊);The Alan Turing Institute(艾伦·图灵研究所)
我们通过有针对性的干预措施来研究因果发现的问题。从几个观测测量开始,我们遵循贝叶斯主动学习方法来执行这些实验,这些实验在当前模型的预期中,最大限度地提供有关潜在因果结构的信息。与以前的工作不同,我们考虑设置连续随机变量与非线性函数关系,建模与高斯过程先验。为了解决所产生的问题,选择从一个不可数的一组可能的干预措施,我们建议使用贝叶斯优化,有效地最大限度地提高预期的信息增益的蒙特卡罗估计。
2019-10-09 cs.LG stat.ML
Active Learning-based Domain Adaptive Localized Polynomial Chaos Expansion
Brno University of Technology(布尔诺理工大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出域自适应局部多项式混沌展开(DAL-PCE),通过主动学习序贯分解输入随机空间并构建局部低阶展开,以高效准确近似强非线性、不连续或奇异函数,数值实验表明其优于全局多项式混沌展开和随机谱嵌入方法。
2023-01-31 cs.LG physics.data-an
Active and sparse methods in smoothed model checking
University of Edinburgh(爱丁堡大学)
基于高斯过程分类的平滑模型检验为参数连续时间马尔可夫链模型的统计模型检验提供了一种强有力的方法。该方法建立了满意概率对马尔可夫链参数的函数依赖模型。这是通过高斯过程推断方法从有限数量的观察不同的参数组合。在这项工作中,我们考虑扩展到平滑模型检验的基础上稀疏变分方法和主动学习。这两种方法都被成功地用于提高平滑模型检验的可扩展性。特别是,我们看到,基于主动学习的思想,用于迭代查询仿真模型的观察结果,可以用来引导模型检查参数空间的更多信息的区域,从而提高样本效率。稀疏变分高斯过程推理算法的在线扩展被证明为实现平滑模型检验的主动学习方法提供了一种可扩展的方法。
2021-04-20 cs.LG cs.LO cs.SY
Point-Cloud-Assistant Localized Statistical Channel Prediction by Tangent Gaussian Splatting
China Telecom(中国电信)
提出点云辅助切线高斯溅射(PC-TGS)框架,通过融合稀疏无线电测量与密集LiDAR几何数据,将角功率谱外推到未测量网格,实现大规模无线数字孪生中的高效信道预测。
2026-08-17 cs.LG eess.SP
Submodularity in Batch Active Learning and Survey Problems on Gaussian Random Fields
Carnegie Mellon University(卡内基梅隆大学)
许多真实世界的数据集可以以图的形式表示,其边权重指定实例之间的相似性。离散高斯随机场(GRF)模型是一个有限维高斯过程(GP),其先验协方差是图拉普拉斯算子的逆。最小化GRF上的预测协方差Sigma(V-最优性)的迹已被证明在具有预算约束的批量主动学习分类问题中是成功的。然而,它的最坏情况界限一直缺失。我们表明,作为批量查询集的函数的GRF上的V-最优性是次模的,因此其贪婪选择算法保证了(1-1/e)的近似比。此外,GRF模型具有抑制子缺失(AofS)条件。对于主动调查问题,我们提出了一个类似的调查标准,最小化1 '(西格玛)1。在实践中,V-最优性准则比具有互信息增益准则的GP执行得更好,并且允许不同节点的非均匀代价。
2012-09-17 cs.AI cs.DS cs.LG
Active Learning for Abrupt Shifts Change-point Detection via Derivative-Aware Gaussian Processes
Arizona State University(亚利桑那州立大学)
针对变化点检测中数据采集昂贵耗时的问题,提出DACD方法,利用GP导数过程和多种采集函数顺序选择采样点,在多种场景下优于现有主动学习CPD方法。
2023-12-05 cs.LG
Gaussian Switch Sampling: A Second Order Approach to Active Learning
在主动学习中,获取函数直接在模型流形内的表示位置上定义信息量。然而,对于大多数机器学习模型(特别是神经网络),由于主动学习轮之间的训练池波动,这种表示不是固定的。因此,几种流行的策略对实验参数(例如结构)敏感,并且不考虑模型对分布外设置的鲁棒性。为了缓解这个问题,我们提出了一个接地的二阶定义的信息内容和样本的重要性范围内的主动学习。具体来说,我们通过神经网络在训练过程中“忘记”样本的频率来定义重要性-二阶表示移位的伪影。我们表明,我们的定义产生高度准确的重要性分数,即使在模型表示的限制缺乏训练数据。出于我们的分析,我们开发高斯开关采样(GauSS)。我们表明,GauSS是设置不可知的和鲁棒的异常分布与详尽的实验,在三个分布基准,三个分布基准,和三种不同的架构。我们报告了高达5%的改进时,对四个流行的查询策略相比。
2023-02-16 cs.LG
Hierarchical-Hyperplane Kernels for Actively Learning Gaussian Process Models of Nonstationary Systems
Bosch Center for Artificial Intelligence(博世人工智能中心)
学习复杂计算机模拟和物理机器的精确代理模型通常需要长期或昂贵的实验。此外,建模的物理依赖性表现出非线性和非平稳的行为。因此,用于产生代理模型的机器学习方法应当通过提供一种方案来解决这些问题,该方案例如通过使用主动学习来保持查询的数量较小,并且能够捕获系统的非线性和非平稳特性。非平稳性建模的一种方法是引入输入划分,这是一个已被证明在高斯过程的主动学习中具有优势的原则。然而,这些方法要么假设已知的分区,需要引入复杂的采样方案,要么依赖于非常简单的几何形状。在这项工作中,我们提出了一个简单但功能强大的内核家族,它包含一个分区:i)通过基于梯度的方法可以学习,ii)使用比以前更灵活的几何形状,同时仍然适用于低数据状态。因此,它为主动学习过程提供了良好的先验。我们在经验上证明了在各种主动学习任务上的出色表现。
2023-03-17 cs.AI cs.LG
Active Learning for Multiple Change Point Detection in Non-stationary Time Series with Deep Gaussian Processes
Arizona State University(亚利桑那州立大学)
针对非平稳时间序列多变点检测难题,提出融合主动学习与深度高斯过程的算法,利用频谱分析识别变化并策略采样,在模拟和真实数据上提升了检测准确性与采样效率。
2025-05-26 cs.LG
Bayesian Active Learning with Fully Bayesian Gaussian Processes
DTU Management(丹麦技术大学管理学院)
偏差-方差权衡是机器学习中的一个众所周知的问题,可用数据越少,这个问题就会变得越明显。在主动学习中,标记的数据很少或难以获得,忽略这种权衡可能会导致低效和非最佳查询,从而导致不必要的数据标记。在本文中,我们专注于主动学习与高斯过程(GP)。对于GP,通过优化两个超参数:长度尺度和噪声项来进行偏差-方差权衡。考虑到超参数联合后验的最优模式等价于最优偏差-方差权衡,我们对该联合后验进行了近似,并利用它设计了两个新的捕获函数。第一个是委员会查询(B-QBC)的贝叶斯变体,第二个是通过混合高斯过程查询(QB-MGP)公式明确最小化预测方差的扩展。在六个模拟器中,我们的经验表明,平均而言,B-QBC实现了最佳的边际似然,而QB-MGP实现了最佳的预测性能。我们表明,将偏差方差权衡收购功能减轻不必要的和昂贵的数据标签。
2023-01-15 cs.LG
Efficiently Computable Safety Bounds for Gaussian Processes in Active Learning
OWL University of Applied Sciences and Arts(OWL应用科学与艺术大学);Bosch Center for Artificial Intelligence(博世人工智能中心);RWTH Aachen University(亚琛工业大学);TU Delft(代尔夫特理工大学)
针对GP主动学习中安全评估计算成本高的问题,提出基于后验GP上确界自适应采样中位数的可证明安全界方法,在保证精度与探索速度的同时提升评估效率,经仿真与真实发动机案例验证有效。
2024-04-15 cs.LG
Multi-fidelity Batch Active Learning for Gaussian Process Classifiers
Mechanical Engineering, Stanford University(斯坦福大学机械工程系);University College London(伦敦大学学院)
本文提出BPMI算法,利用一阶泰勒展开近似互信息,实现多保真高斯过程分类器的批量主动学习,在合成与真实案例中均以固定预算获得更高预测精度。
2025-10-09 cs.CE cs.LG physics.comp-ph
Future Aware Safe Active Learning of Time Varying Systems using Gaussian Processes
OWL University of Applied Sciences and Arts(OWL应用科学与艺术大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对时变系统实验探索的高成本与安全约束问题,提出T-IMSPE安全主动学习框架,通过最小化当前和未来状态后验方差优化信息收集,提升模型质量,明确适用的高斯过程核等要素。
2025-04-16 cs.AI cs.LG math.OC
On Active Learning for Gaussian Process-based Global Sensitivity Analysis
针对基于高斯过程的Sobol指数全局灵敏度分析中主动学习收敛难的问题,提出MUSIC学习函数策略,低维下收敛快于现有方法,高维与随机抽样相当,并在风洞实验设计中验证。
2023-08-27 cs.LG