Non-Myopic Multifidelity Bayesian Optimization
Politecnico di Torino（都灵理工大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出非短视多保真贝叶斯优化框架，通过两步前瞻采集函数最大化长期累积奖励，在基准优化问题上优于标准多保真贝叶斯方法。
2024-07-04 cs.LG math.OC
Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings
Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；FutureHouse, Inc.（FutureHouse公司）
LookaHES通过整合神经策略，实现动态成本环境下的非短视贝叶斯优化，提升复杂决策空间中的长视图优化能力。
2026-01-10 cs.AI cs.LG
Constrained Bayesian Experimental Design via Online Planning
ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）；Department of Computer Science, University of Manchester, UK（英国曼彻斯特大学计算机科学系）
提出一种结合离线预训练摊销策略和后验网络与在线多步前瞻规划（场景树）的方法，以在动态约束下优化贝叶斯实验设计，相比现有方法获得更优信息序列且计算开销适中。
2026-05-26 cs.LG stat.ML
Meta-Learning Conjugate Priors for Few-Shot Bayesian Optimization
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Leiden University（莱顿大学）
贝叶斯优化（Bayesian Optimization）是统计建模中使用的一种方法，它利用高斯过程先验分布来迭代更新后验分布，使其接近数据的真实分布。找到无偏的信息先验样本是具有挑战性的，如果只有很少的数据，可以极大地影响后验分布的结果。在本文中，我们提出了一种新的方法，利用元学习自动估计的信息共轭先验分布给定的分布类。从这个过程中，我们生成的先验，只需要很少的数据来估计原始分布的数据的形状参数。
2021-01-03 cs.AI cs.LG
EARL-BO: Reinforcement Learning for Multi-Step Lookahead, High-Dimensional Bayesian Optimization
Imperial College London（帝国理工学院）；Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）；University of Southern California（南加利福尼亚大学）
针对传统多步前瞻贝叶斯优化的维数灾难与可扩展性差问题，提出基于强化学习的EARL-BO框架，通过注意力深度集编码器与多任务微调提升性能，在合成与真实任务上优于现有方法。
2024-10-31 cs.LG math.OC
Non-Myopic Multi-Objective Bayesian Optimization
Stanford University（斯坦福大学）；Washington State University（华盛顿州立大学）
针对多目标优化问题，提出三种基于超体积改进的非近视贝叶斯优化采集函数，显著提升了性能。
2025-05-01 cs.AI cs.LG
Bayesian Optimal Active Search and Surveying
Carnegie Mellon University（卡内基梅隆大学）；Uppsala Universitet（乌普萨拉大学）
我们考虑两个积极的二进制分类问题与非典型目标。在第一个主动搜索中，我们的目标是主动发现尽可能多的给定类的成员。在第二个主动调查中，我们的目标是主动查询点，以最终预测给定类的比例。许多现实世界中的问题都可以用这些术语来描述，在任何一种情况下，典型的基于模型的问题，如泛化误差都只是次要的。我们通过贝叶斯决策理论来解决这些问题，在选择自然效用函数后，我们得到最优策略。我们提供三项贡献。除了引入主动测量问题，我们扩展了以前的工作，主动搜索在两个方面。首先，我们证明了一个新的理论结果，少近视近似的最优策略可以优于任何程度的近视近似。然后，我们推导出的界限，对于某些模型，使我们能够减少（在实践中显着）的指数搜索空间所需的一个天真的实施的最佳政策，使进一步的前瞻，同时仍然确保最佳决策总是。
2012-06-27 cs.LG stat.ML
On Provably Robust Meta-Bayesian Optimization
National University of Singapore（新加坡国立大学）；Tencent（腾讯）；Massachusetts Institute of Technology（麻省理工学院）
贝叶斯优化（BO）已成为流行的顺序优化的黑盒功能。当BO用于优化目标函数时，我们通常可以访问潜在相关函数的先前求值。这就引出了一个问题，即我们是否可以利用这些以前的经验，通过元学习（元BO）来加速当前的BO任务，同时确保对可能破坏BO收敛的潜在有害的不同任务的鲁棒性。本文介绍了两种可扩展且可证明鲁棒的元BO算法：鲁棒元高斯过程置信上限（RM-GP-UCB）和RM-GP-Thompson采样（RM-GP-TS）。我们证明了这两种算法是渐近无遗憾的，即使一些或所有以前的任务是不相似的当前任务，并表明RM-GP-UCB享有更好的理论鲁棒性比RM-GP-TS。我们还利用理论上的保证，通过在线学习，减少不同任务的影响，从而进一步提高鲁棒性，通过遗憾最小化分配给个人以前的任务的权重。经验评估表明，（a）RM-GP-UCB在各种应用中有效且一致地执行，以及（b）RM-GP-TS，尽管在理论和实践中不如RM-GP-UCB鲁棒，但在具有较少相似任务的某些场景中具有竞争力，并且计算效率更高。
2022-06-16 cs.AI cs.LG
How Many Initial Points Does Bayesian Optimization Need?
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）；HayanMind Inc.（哈扬思维公司）；Technical University of Nuremberg (UTN)（纽伦堡工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Imperial College London（伦敦帝国理工学院）
研究贝叶斯优化初始点数量选择问题，发现初始点数量与总成本呈U型关系，不同超参数和采集函数都存在此权衡，汤普森采样是例外，还给出实用建议。
2026-07-07 cs.LG
NeST-BO: Fast Local Bayesian Optimization via Newton-Step Targeting of Gradient and Hessian Information
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Ohio State University（俄亥俄州立大学）
NeST-BO是一种利用曲率信息的局部贝叶斯优化方法，通过联合学习梯度和Hessian信息以及高斯过程代理，结合牛顿步目标和一步前瞻界来选择评估点，从而在高维问题中实现快速收敛和全局收敛。
2026-03-27 cs.LG math.OC
Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
贝叶斯优化通常假设贝叶斯先验是给定的。然而，在贝叶斯优化的强大的理论保证，往往是令人遗憾的是，在实践中，因为在先验的未知参数妥协。在本文中，我们采用了一种变体的经验贝叶斯，并表明，通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验，变体的GP-UCB和概率的改善实现了接近零的遗憾界，这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上，我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
Human-in-the-Loop Meta Bayesian Optimization for Fusion Energy and Scientific Applications
Hewlett Packard Enterprise（惠普企业公司）；University of Rochester（罗切斯特大学）
本文提出HL-MBO框架，结合专家知识与少样本不确定性感知机器学习，加速数据稀缺的高风险科学领域发现，优于现有BO方法在聚变能优化和超导材料优化中的表现。
2026-09-15 cs.AI cs.LG physics.plasm-ph
SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization
Department of Information Systems University of Münster（信息系统系穆斯特大学）；Robert Bosch GmbH（博世集团）
SMOG通过多输出高斯过程学习目标间相关性，构建联合先验以提升多目标贝叶斯优化效率，实现线性扩展元任务数量的并行训练。
2026-05-11 cs.LG
No Free Lunch Theorem and Bayesian probability theory: two sides of the same coin. Some implications for black-box optimization and metaheuristics
Australian College of Kuwait（科威特澳大利亚学院）
在工业设计和实践的不同领域中，经常会出现一些难以用传统的微积分方法得到可接受解的优化问题。困难优化问题是那些表现出以下行为的问题：a）大量的独立输入变量; b）非常复杂或不规则的多模态适应度; c）计算昂贵的适应度评估。本文将重点讨论一些对实践有很强影响的理论问题。我将强调如何解释没有免费的午餐定理自然导致一个一般的贝叶斯优化框架。在函数空间中选择先验是每个黑盒优化中关键且不可避免的步骤。
2013-12-01 cs.LG
Meta-Learning Priors for Safe Bayesian Optimization
ETH Zurich（苏黎世联邦理工学院）；inspire AG（Inspire股份公司）
针对机器人领域安全约束下控制器参数优化的挑战，提出基于F-PACOH的元学习先验框架，通过数据驱动方式选安全先验，在保障安全的同时加快安全贝叶斯优化收敛。
2023-06-12 cs.AI cs.LG cs.RO
Learn to Explore: Meta NAS via Bayesian Optimization Guided Graph Generation
本文提出了一种新颖的元神经架构搜索框架 GraB-NAS，通过将神经架构建模为图并结合贝叶斯优化的全局搜索与潜在空间的梯度上升局部探索，实现了高效的任务感知架构发现，显著提升了跨任务泛化能力和搜索有效性。
2025-08-13 cs.LG
Designing thermal radiation metamaterials via hybrid adversarial autoencoder and Bayesian optimization
Shanghai Jiao Tong University（上海交通大学）；The University of Tokyo（东京大学）；China Building Materials Academy（中国建筑材料科学研究总院）
热辐射超材料的设计是一个具有挑战性的问题，特别是高自由度和复杂的目标。在这封信中，我们开发了一种混合材料信息学方法，该方法结合了对抗性自动编码器和贝叶斯优化来设计不同目标波长的窄带热发射器。只需几百个训练数据集，就可以在压缩的二维潜空间中快速计算出具有最佳性能的新结构。这使得优化设计的计算量远远小于总候选结构的0.001%，大大缩短了设计周期和成本。所提出的设计框架可以很容易地扩展到其他具有更高维度特征的热辐射超材料设计。
2022-04-26 cs.LG physics.comp-ph physics.optics
MALIBO: Meta-learning for Likelihood-free Bayesian Optimization
Eindhoven University of Technology（埃因霍温理工大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
提出MALIBO元学习贝叶斯优化方法，绕过代理模型直接学习查询效用，显式建模任务不确定性并引入辅助模型，实现对新任务的鲁棒适应，在多个基准上优于现有方法。
2024-06-28 cs.LG stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research（通用电气研究院）
我们描述了一种贝叶斯优化的方法，其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般（非实值）特征都与连续潜变量相关联，这些变量作为输入进入一个元模型，该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务，并展示了它的实现在各种合成和现实世界的例子，比较其性能下零，一，和Few-Shot设置对传统的贝叶斯优化，这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Clustering-based Meta Bayesian Optimization with Theoretical Guarantee
Applied Artificial Intelligence Institute (A2I2), Deakin University（应用人工智能研究所（A2I2），迪肯大学）；Edith Cowan University（埃迪斯科文大学）；The Saigon International University（西贡国际大学）
本文提出一种可扩展且鲁棒的元贝叶斯优化方法，通过聚类划分异质元函数、学习几何代理原型并自适应合成元先验，以理论保证和HPO实验验证其有效性。
2025-03-08 cs.LG stat.ML
Adaptive Bayesian Linear Regression for Automated Machine Learning
Universite Cote d’Azur（蔚蓝海岸大学）；I3S laboratory（I3S实验室）
为了解决机器学习问题，通常需要执行数据预处理、建模和超参数调整，这被称为模型选择和超参数优化。自动机器学习（AutoML）的目标是设计能够自动执行模型选择和超参数优化的方法，而无需人为干预。在本文中，我们提出了一种元学习方法，可以搜索一个高性能的机器学习管道从预定义的候选管道的监督分类数据集在一个有效的方式，通过利用从以前的实验收集的元数据。更具体地说，我们的方法结合了一个自适应贝叶斯回归模型与神经网络基函数和贝叶斯优化的采集功能。自适应贝叶斯回归模型能够从先前的元数据中捕获知识，从而对新数据集上的机器学习流水线的性能进行预测。实验结果表明，该方法能够快速识别出一系列测试数据集的高性能流水线，性能优于基线方法。
2019-04-18 cs.LG stat.ML
Interpretable SHAP-bounded Bayesian Optimization for Underwater Acoustic Metamaterial Coating Design
The University of Melbourne（墨尔本大学）
提出SHAP引导的贝叶斯优化框架，利用可解释性分析自动收紧设计变量边界，在不增加仿真迭代次数的前提下提升两种聚氨酯水下声学超材料涂层的吸声优化效果。
2025-05-10 cond-mat.mtrl-sci cs.LG cs.SD
Optimizing the Unknown: Black Box Bayesian Optimization with Energy-Based Model and Reinforcement Learning
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）
针对传统贝叶斯优化单步偏差易陷入局部最优的问题，提出融合GP、EBM与PPO的REBMBO方法，通过多步自适应前瞻优化探索策略，在多类基准实验中展现出更优性能与鲁棒性。
2025-10-22 cs.AI cs.LG
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题，其中目标是昂贵的黑盒函数，使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而，生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中，我们提出MetaRLBO，其中我们通过Meta-强化学习训练自回归生成模型，以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题，找到一个最佳的政策，在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明，这种集成的元学习提供了对奖励错误指定的鲁棒性，并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably?
Rensselaer Polytechnic Institute（伦斯勒理工学院）
元学习的目标是学习一个能够快速适应看不见的任务的模型。广泛使用的元学习方法包括模型不可知元学习（MAML）、隐式MAML、贝叶斯MAML。由于其建模不确定性的能力，贝叶斯MAML往往具有优越的经验性能。然而，对贝叶斯MAML的理论理解仍然有限，特别是在贝叶斯MAML是否以及何时具有比MAML更好的性能等问题上。在本文中，我们的目的是提供理论上的理由贝叶斯MAML的优势性能比较MAML和贝叶斯MAML的Meta测试风险。在Meta线性回归中，在分布不可知和线性质心的情况下，我们已经建立了贝叶斯MAML确实具有可证明的较低的Meta测试风险比MAML。我们通过实验验证了我们的理论结果。
2022-03-06 cs.LG stat.ML
Meta-RL with Bayesian Linear Task Models
School of Computing（计算学院）
本文提出GLiBRL，通过可学习基函数实现深度贝叶斯强化学习中的 tractable 贝叶斯推断，改进任务表示与经验核对应关系，提升在MuJoCo和MetaWorld基准上的性能。
2026-09-10 cs.AI cs.LG cs.RO
Meta-Learning at Scale for Large Language Models via Low-Rank Amortized Bayesian Meta-Learning
本文提出ABMLL方法，通过低秩放大贝叶斯元学习实现大规模语言模型对多分布的适应，提升跨数据集泛化能力，并在CrossFit和Unified-QA数据集上优于现有方法。
2026-04-01 cs.AI cs.LG stat.ML
ALPaCA vs. GP-based Prior Learning: A Comparison between two Bayesian Meta-Learning Algorithms
ETH Zürich（苏黎世联邦理工学院）
元学习或少样本学习已成功应用于从计算机视觉到强化学习的广泛领域。在为元学习提出的许多框架中，当需要精确和校准的不确定性估计时，baidu方法特别受欢迎。在本文中，我们研究了两种最近发表的baiton元学习方法之间的相似性和差异：ALPaCA（Harrison et al. [2018]）和PACOH（Rothfuss et al. [2020]）。我们提供理论分析以及跨合成和真实世界数据集的经验基准。虽然ALPaCA通过使用线性内核在计算时间上具有优势，但当使用通用内核（如SE（平方指数）内核）时，一般基于GP的方法提供了更大的灵活性，并在数据集上实现了更好的结果。文中还讨论了不同损失函数选择的影响。
2020-10-15 cs.LG
Shallow Bayesian Meta Learning for Real-World Few-Shot Recognition
University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）；University of Chinese Academy of Sciences（中国科学院大学）
当前最先进的Few-Shot学习器在使用简单的分类器（例如最近质心分类器）之前，专注于开发用于特征表示的有效训练过程。在本文中，我们采用了一种正交方法，该方法对所使用的特征不可知，并专门关注实际分类器层的元学习。具体来说，我们介绍MetaQDA，贝叶斯元学习的经典二次判别分析的推广。这种设置有几个从业者感兴趣的好处：元学习速度快，内存效率高，不需要微调功能。它对所选择的现成功能是不可知的，因此将继续受益于功能表示的进步。从经验上讲，它导致跨域少样本学习的鲁棒性能，并且对于现实世界的应用至关重要，它导致预测中更好的不确定性校准。
2021-08-27 cs.LG
Bayesian Meta-Analyses Could Be More: A Case Study in Trial of Labor After a Cesarean-section Outcomes and Complications
本文提出了一种贝叶斯方法，用于分析剖宫产术后试产的结果和并发症，以确定正效应的主张是否仍然成立，并帮助医生做出更有效的临床决策。
2026-01-15 cs.LG
Bayesian Meta-Learning Through Variational Gaussian Processes
Stanford University（斯坦福大学）
元学习领域的最新进展已经解决了由大量小（“Few-Shot”）监督学习任务组成的领域。元学习算法必须能够快速适应任何单个的Few-Shot任务，适应任务中的小支持集，并使用它来预测任务查询集的标签。这个问题设置可以扩展到贝叶斯上下文，其中不是为每个查询数据点预测单个标签，而是模型预测捕获其不确定性的标签分布。这一领域的成功方法包括基于MAML的模型的贝叶斯集成、贝叶斯神经网络和具有学习的深度核和均值函数的高斯过程。虽然高斯过程在元学习上下文中具有鲁棒的贝叶斯解释，但它们并不自然地对用于表达不确定性的非高斯预测后验进行建模。在本文中，我们设计了一个理论上的原则性方法，VMGP，扩展高斯过程为基础的元学习，允许高质量，任意非高斯不确定性预测。在具有复杂非光滑或不连续结构的基准环境中，我们发现我们的VMGP方法的性能明显优于现有的贝叶斯元学习基线。
2021-10-21 cs.LG stat.ML
B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning
Indraprastha Institute of Information Technology Delhi（德里因德拉普拉斯塔信息技术学院）
针对元学习模型因训练任务不足易过拟合、泛化性差的问题，提出基于贝叶斯神经网络的B-SMALL算法，加入稀疏变分损失压缩参数量，性能优于或持平MAML，可用于分布式传感器网络。
2021-01-01 cs.AI cs.CV cs.LG
Bayesian Model-Agnostic Meta-Learning
Element AI（Element AI公司）；Kakao Brain（Kakao Brain公司）；MILA Université de Montréal（蒙特利尔大学MILA研究所）；Rutgers University（罗格斯大学）
学习从Few-Shot数据集推断贝叶斯后验是迈向鲁棒元学习的重要一步，因为问题中固有的模型不确定性。在本文中，我们提出了一种新的贝叶斯模型不可知的元学习方法。该方法结合了可扩展的基于梯度的元学习与非参数变分推理的原则概率框架。在快速自适应过程中，该方法能够学习复杂的不确定性结构，而不仅仅是点估计或简单的高斯近似。此外，一个强大的贝叶斯元更新机制与一个新的元损失，防止过拟合元更新过程中。保持一个有效的基于梯度的元学习器，该方法也是模型不可知的，易于实现。实验结果表明，所提出的方法在各种任务的准确性和鲁棒性：正弦回归，图像分类，主动学习，和强化学习。
2018-11-19 cs.LG stat.ML
MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning
University of Bristol（布里斯托尔大学）；University of Cambridge（剑桥大学）
MONGOOSE 针对评估点间移动成本较大的贝叶斯优化问题，利用元学习参数化策略生成平滑优化轨迹，以克服标准短视方法的跳跃路径缺陷并提升性能。
2024-07-03 cs.LG
Gradient-EM Bayesian Meta-learning
Didi AI Labs（滴滴人工智能实验室）；Columbia University（哥伦比亚大学）
贝叶斯元学习通过不确定性评估实现了对新任务的鲁棒和快速适应。贝叶斯元学习的核心思想是对层次模型的经验贝叶斯推理。在这项工作中，我们扩展了这个框架，包括各种现有的方法，然后提出我们的变体的基础上梯度EM算法。我们的方法通过避免元更新步骤中的反向传播计算来提高计算效率，这对于深度神经网络来说是令人疲惫的。此外，它提供了灵活性的内部更新优化过程，从元更新解耦。在正弦回归、Few-Shot图像分类和基于策略的强化学习上的实验表明，该方法不仅以更少的计算代价获得了更好的准确性，而且对不确定性具有更强的鲁棒性。
2020-11-18 cs.LG stat.ML
Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks
KAIST（韩国科学技术院）；TmaxData（Tmax数据公司）；AITRICS（艾特里克斯）
虽然在现实环境中，任务可能会改变实例和类的数量，但现有的用于Few-Shot分类的元学习方法假设每个任务和类的实例数量是固定的。由于这种限制，他们学会了在所有任务中平等地利用元知识，即使每个任务和类的实例数量变化很大。此外，他们没有考虑分布差异看不见的任务，元知识可能有较少的有用性取决于任务的相关性。为了克服这些局限性，我们提出了一种新的元学习模型，自适应平衡的效果的元学习和特定任务的学习在每个任务。通过对平衡变量的学习，我们可以决定是依靠元知识还是特定任务学习来获得解决方案。我们制定这个目标到贝叶斯推理框架，并解决它使用变分推理。我们验证了我们的贝叶斯任务自适应元学习（贝叶斯TAML）在多个现实的任务和类不平衡的数据集，它显着优于现有的元学习方法。进一步的消融研究证实了每个平衡组件和贝叶斯学习框架的有效性。
2022-02-12 cs.LG stat.ML
Meta-Learning Acquisition Functions for Transfer Learning in Bayesian Optimization
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
跨任务传输知识以提高数据效率是全局黑箱优化领域的开放式关键挑战之一。现成的算法通常被设计为通用优化器，因此对于特定任务来说往往是次优的。我们提出了一种新的迁移学习方法，以获得定制的优化贝叶斯优化的成熟框架内，使我们的算法利用高斯过程的泛化能力。使用强化学习对一组相关任务的采集函数（AF）进行元训练，所提出的方法学习提取隐含的结构信息并利用它来提高数据效率。我们目前的实验模拟到真实的传输任务，以及几个合成功能和两个超参数搜索问题。结果表明，我们的算法（1）自动从可用的源任务或模拟中识别目标函数的结构属性，（2）在源数据稀缺和丰富的环境中表现良好，（3）如果没有特定的结构，则会回落到一般AF的性能水平。存在。
2020-02-14 cs.AI cs.LG stat.ML
Scalable Bayesian Meta-Learning through Generalized Implicit Gradients
University of Minnesota（明尼苏达大学）
本文提出隐式贝叶斯元学习（iBaML）方法，通过广义隐式梯度解决元学习中的可扩展性问题，拓宽可学习先验并量化不确定性，同时控制计算复杂度。
2023-03-31 cs.LG
Transfer Bayesian Meta-learning via Weighted Free Energy Minimization
元学习基于从多个辅助任务采样的数据来优化训练过程的超参数，例如其初始化、内核或学习率。一个关键的基本假设是，辅助任务（称为元训练任务）与部署时遇到的任务（称为元测试任务）共享相同的生成分布。然而，当测试环境不同于元训练条件时，情况可能并非如此。为了解决元训练阶段和元测试阶段之间任务生成分布的变化，本文引入了用于转移元学习的加权自由能最小化（WFEM）。我们实例化所提出的方法，通过高斯过程（GP）的非参数贝叶斯回归和分类。玩具正弦回归问题，以及分类使用miniImagenet和CUB数据集，通过比较与标准的元学习的GP先验的PACOH实现的方法进行验证。
2021-11-09 cs.LG eess.SP
Meta-Uncertainty in Bayesian Model Comparison
University of Stuttgart（斯图加特大学）；Heidelberg University（海德堡大学）
贝叶斯模型比较（BMC）提供了一种原则性的概率方法来研究和排名竞争模型。在标准BMC中，我们在可能的模型集合上构造离散概率分布，条件是观察到的感兴趣的数据。这些后验模型概率（PMP）是不确定性的度量，但是-当从有限数量的观察中得出时-本身也是不确定的。在本文中，我们概念化的BMC中出现的不同层次的不确定性。我们探索了一个完全概率的框架，量化元不确定性，从而在一个应用的方法，以提高任何BMC的工作流程。利用贝叶斯和频率论技术，我们通过元模型表示不确定PMP的不确定性，该元模型将模拟和观察数据结合到新数据上PMP的预测分布中。我们证明了所提出的方法在共轭贝叶斯回归，似然推理与马尔可夫链蒙特卡罗，和基于模拟的推理与神经网络的背景下的效用。
2023-02-21 cs.LG stat.ML
Bayesian Meta-reinforcement Learning for Traffic Signal Control
Didichuxing AI Lab（滴滴出行AI实验室）
近年来，基于Meta强化学习的交通信号控制方法得到了越来越多的关注，与传统的控制方法相比，该方法具有更好的性能。然而，以往的方法缺乏鲁棒性的适应性和训练过程中的复杂情况下的稳定性，这在很大程度上限制了它在现实世界中的交通信号控制的应用。在本文中，我们提出了一种新的基于值的贝叶斯Meta强化学习框架BM-DQN鲁棒地加快学习过程中，在新的情况下，利用良好的训练先验知识从现有的情况下学习。这个框架是基于我们提出的快速适应变化，顺应EM贝叶斯元学习和快速更新的优势DQN，它允许快速适应新的情况下，持续学习能力和鲁棒性的不确定性。限制二维导航和交通信号控制的实验表明，我们提出的框架适应更快，更强大的新的场景比以前的方法，特别是更好的持续学习能力在异构场景。
2021-10-22 cs.LG stat.ML
PAC-Bayesian Meta-Learning for Few-Shot Identification of Linear Dynamical Systems
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对短轨迹、噪声大的LTI系统识别，提出PBML-LTI元学习框架，学习可迁移先验并进行贝叶斯自适应，通过鞅PAC-Bayes分析提供有限样本保证。
2026-09-22 cs.LG
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
本文提出首个端到端可微的元贝叶斯优化框架，利用Transformer神经过程学习采集函数，通过强化学习与辅助任务解决稀疏奖励问题，在标准及现实任务中取得最优遗憾结果。
2023-12-22 cs.LG
Meta-Attention: Bayesian Per-Token Routing for Efficient Transformer Inference
Knowledge Lab AG Zürich（苏黎世知识实验室）
提出Meta-Attention框架，通过贝叶斯元控制器动态为每个token选择最优注意力策略（全softmax、线性或滑动窗口局部注意力），在几乎无开销下实现更优的计算-性能权衡。
2026-05-27 cs.LG
Quantum-Aided Meta-Learning for Bayesian Binary Neural Networks via Born Machines
King's College London（伦敦国王学院）
近期有噪声的中间尺度量子线路可以有效地实现离散空间中的隐式概率模型，支持使用经典方法实际上不可行的分布。这种模型的可能应用之一，也被称为Born机，是概率推理，这是贝叶斯方法的核心。本文研究了使用Born机训练二进制贝叶斯神经网络的问题。在所提出的方法中，玻恩机被用来模拟神经网络的二进制权重的变化分布，并从多个任务的数据被用来减少新任务的训练数据的要求。该方法通过Born机结合了基于梯度的元学习和变分推理，并在一个原型回归问题中表现出优于传统的联合学习策略。
2022-04-05 cs.LG quant-ph
Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings
Department of Computer Science, Aalto University, Espoo, Finland（Aalto大学计算机科学系）；ELLIS Institute Finland, Espoo, Finland（芬兰ELLIS研究所）；Department of Computer Science, University of Manchester, United Kingdom（曼彻斯特大学计算机科学系）
本文提出一种基于因果嵌入的贝叶斯元学习方法，通过专家反馈减少任务转移中的负转移，提升分布外适应性能。
2026-02-23 cs.LG
More Flexible PAC-Bayesian Meta-Learning by Learning Learning Algorithms
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Sharif University of Technology（谢里夫理工大学）
我们引入了一个基于PAC-Bayesian理论的元学习新框架，通过将元学习直接表达为学习未来任务的学习算法，实现了更灵活的任务间知识转移，并在理论和实验上均证明了其能提升预测质量。
2024-05-29 cs.LG stat.ML
Meta-Learning for Repeated Bayesian Persuasion
Bogazici University（博斯海夫大学）；University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出元说服算法，在在线贝叶斯说服和马尔可夫说服过程中，通过任务相似性实现更优的后悔率，同时在任意游戏序列下恢复单次游戏保证。
2026-03-20 cs.AI cs.GT cs.LG
Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；School of Engineering（工程学院）
最近，已经引入了不同的机器学习方法来解决具有挑战性的少样本学习场景，即从与特定任务相关的小标记数据集学习。常见的方法采取了元学习的形式：在旧问题的基础上学习新问题。在认识到元学习是在多层次模型中实现学习之后，我们通过使用深度内核对元学习内部循环进行贝叶斯处理。因此，我们可以学习一个转移到新任务的内核;我们称之为深度内核转移（DKT）。这种方法有很多优点：可以直接实现为单个优化器，提供不确定性量化，并且不需要估计特定于任务的参数。我们的经验表明，DKT优于几个国家的最先进的算法在Few-Shot分类，是最先进的跨领域自适应和回归。我们的结论是，复杂的元学习例程可以被一个更简单的贝叶斯模型取代，而不会损失准确性。
2020-10-13 cs.LG stat.ML
A Hierarchical Bayesian Model for Deep Few-Shot Meta Learning
Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
针对少样本元学习的大量任务场景，提出带全局-局部分层结构的Normal-Inverse-Wishart贝叶斯模型，通过局部后验近似闭式解实现一次性情节优化，无需维护每情节完整计算图，优于MAML及现有单变量贝叶斯元学习方法。
2023-06-16 cs.LG
Information-Theoretic Analysis of Epistemic Uncertainty in Bayesian Meta-learning
King’s College London（伦敦国王学院）
一个训练好的预测器的整体预测不确定性可以分解为由于认知和任意不确定性的单独贡献。在贝叶斯公式下，假设一个明确指定的模型，这两个贡献可以用信息理论量精确表示（对于对数损失）或有界（对于更一般的损失）（Xu和Raginsky，2020）。本文讨论了在贝叶斯元学习的更广泛的设置内的信息理论框架内的认知不确定性的研究。假设一个一般的分层贝叶斯模型，其中超参数确定模型参数的每个任务的先验。精确的表征（日志损失）和边界（更一般的损失）的认知不确定性-量化的最小超额元风险（MEMR）-最佳元学习规则。利用这种特性来洞察认知不确定性对任务数量和每任务训练数据量的依赖性。实验提出，使用建议的信息理论的界限，通过神经互信息估计，比较传统的学习和元学习的性能作为元学习任务的数量增加。
2021-10-21 cs.IT cs.LG eess.SP
Bayesian Active Meta-Learning for Few Pilot Demodulation and Equalization
Technion—Israel Institute of Technology（以色列理工学院）
通信网络中人工智能（AI）模块的生存周期的两个主要原则是适应和监控。适应是指需要根据当前条件调整AI模块的操作;而监控则需要衡量AI模块决策的可靠性。用于设计人工智能模块的经典频率主义学习方法在适应和监控两方面都存在不足，迎合一次性训练并提供过度自信的决策。本文提出了一种解决方案，以解决这两个挑战，通过集成元学习与贝叶斯学习。作为一个具体的使用情况下，解调和均衡的衰落信道的基础上可用的几个导频的问题进行了研究。元学习处理来自多个帧的导频信息，以便跨帧提取有效解调器的有用共享属性。所得到的训练解调器，通过实验，以提供更好的校准软决策，在运行时间运行的网络的合奏的计算成本。通过将贝叶斯元学习扩展到活动设置，进一步利用量化模型参数空间中的不确定性的能力。在其中，设计者可以以顺序方式选择信道条件，在该信道条件下从信道模拟器生成用于元学习的数据。贝叶斯主动元学习被认为在实验中，以显着减少所需的帧的数量，以获得新的帧的有效的适应过程。
2022-12-05 cs.LG eess.SP
MetaKoopman: Bayesian Meta-Learning of Koopman Operators for Modeling Structured Dynamics under Distribution Shifts
TRATON（特拉顿集团）；KTH Royal Institute of Technology（瑞典皇家理工学院）
MetaKoopman作为贝叶斯元学习框架，通过学习Koopman算子先验实现分布偏移下非线性动力学的精准建模与预测，在卡车挂车系统的野外及模拟任务中表现优于现有方法，可用于鲁棒运动规划。
2026-07-30 cs.LG cs.RO cs.SY
Bayesian meta learning for trustworthy uncertainty quantification
Virginia Tech（弗吉尼亚理工大学）
本文研究具有可信不确定性量化的贝叶斯回归问题，提出了一种无需先验假设的贝叶斯元学习优化框架Trust-Bayes，刻画了概率下界与样本复杂度，并通过高斯过程回归的Monte Carlo模拟验证了其有效性。
2024-07-27 cs.LG cs.SY eess.SY
