Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity
University of Georgia（佐治亚大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出KENDO框架，将集成高斯过程与分歧感知获取策略结合，实例化KENDO-BO和KENDO-AL，在单/多目标优化及主动学习任务上，兼具更优性能与更高计算效率。
2026-09-01 cs.AI cs.LG
Scalable Batch-Mode Deep Bayesian Active Learning via Equivalence Class Annealing
University of Chicago（芝加哥大学）
主动学习已经在许多领域证明了数据效率。现有的主动学习算法，特别是在批量模式深度贝叶斯主动模型的背景下，严重依赖于模型的不确定性估计的质量，并且通常难以扩展到大批量。在本文中，我们提出了批平衡，一个可扩展的批处理模式的主动学习算法，它结合了决策理论的见解主动学习，组合信息测量，多样性采样。在其核心，批量平衡依赖于一个新的决策理论采集功能，促进不同的等价类之间的差异。直觉上，每个等价类都由假设组成（例如，深度神经网络的后验样本）具有相似的预测，并且Batch-BALanCe随着学习的进行自适应地调整等价类的大小。为了将查询的计算扩展到大批量，我们进一步提出了一个高效的批处理模式采集过程，其目的是最大限度地提高通过采集函数定义的新信息度量。我们表明，我们的算法可以有效地处理现实的多类分类任务，并在几个基准数据集上取得令人信服的性能低批量和大批量制度下的主动学习。参考代码发布于https://github.com/zhangrenyuuchicago/BALanCe。
2023-02-20 cs.AI cs.LG
Near-optimal Bayesian Active Learning with Correlated and Noisy Tests
ETH Zurich（苏黎世联邦理工学院）
我们考虑贝叶斯主动学习和实验设计问题，其目标是通过一系列信息丰富的噪声测试来学习一些未知目标变量的值。与以前的工作相比，我们专注于具有挑战性的，但实际相关的设置，测试结果可以有条件地依赖于给定的隐藏目标变量。在这样的假设下，常见的检验学，如最大限度地减少目标的不确定性的grenesty执行测试，往往表现不佳。在本文中，我们提出了ECED，一种新的，计算效率高的主动学习算法，并证明了强有力的理论保证，相关的，嘈杂的测试。ECED不是直接优化预测误差，而是在每一步中选择最大化代理目标增益的测试，这考虑了测试之间的依赖性。我们的分析依赖于一个信息理论的辅助功能，以跟踪ECED的进展，并利用自适应子模块，以达到近最优的界限。我们展示了强大的实证表现ECED两个问题的情况下，包括贝叶斯实验设计任务，旨在区分人们如何做出风险决策的经济理论，和一个积极的偏好学习任务，通过成对比较。
2016-07-11 cs.AI cs.LG
Deep Bayesian Active Learning, A Brief Survey on Recent Advances
West Virginia University（西弗吉尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
主动学习框架提供了有效的数据注释，而没有显著的准确性降低。换句话说，主动学习开始用少量的标记数据训练模型，同时探索未标记数据的空间，以便选择要标记的信息量最大的样本。一般来说，表示不确定性在任何主动学习框架中都是至关重要的，然而，深度学习方法不能表示或操纵模型的不确定性。另一方面，从现实世界的应用角度看，不确定性表示在机器学习界越来越受到关注。深度贝叶斯主动学习框架和通常任何贝叶斯主动学习设置在模型中提供实际考虑，其允许使用小数据进行训练，同时表示模型不确定性以用于进一步有效训练。在本文中，我们简要介绍了贝叶斯主动学习，特别是深度贝叶斯主动学习框架的最新进展。
2022-04-21 cs.LG
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology（佐治亚理工学院）
本文提出ParBaLS方法，用于改进EPIG算法在大规模批量中的性能，通过实验验证其在固定预算下优于其他方法，适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University（斯坦福大学）
本文提出MAPTree算法，通过贝叶斯最大后验推断和AND/OR搜索构建决策树，在16个真实数据集上优于或媲美基线且树更小，在合成数据上更鲁棒，并能提供最优性证书。
2023-12-20 cs.AI cs.LG
Dependency Structure Search Bayesian Optimization for Decision Making Models
National University of Singapore（新加坡国立大学）；Peng Cheng Lab（鹏城实验室）
针对高维多智能体决策模型在稀疏反馈下优化困难的问题，提出基于角色的多层架构，并引入依赖结构搜索贝叶斯优化方法高效优化参数，在稀疏或畸变奖励下表现优异。
2024-11-10 cs.AI cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Near-Optimal Bayesian Active Learning with Noisy Observations
Caltech（加州理工学院）
我们解决了贝叶斯主动学习与噪声的基本问题，我们需要自适应地选择从一些昂贵的测试，以确定一个未知的假设采样从已知的先验分布。在无噪声观测的情况下，称为广义二进制搜索（GBS）的贪心算法被称为执行接近最优。我们表明，如果观察是嘈杂的，也许令人惊讶的是，GBS可以执行非常差。我们开发了EC2，一种新的，贪婪的主动学习算法，并证明了它是竞争的最优策略，从而获得第一竞争力保证贝叶斯主动学习与噪声观测。我们的界限依赖于最近发现的收益递减属性称为自适应次模块化，推广的经典概念的次模块集函数的自适应政策。即使测试具有非均匀成本并且它们的噪声是相关的，我们的结果也成立。我们还提出了EffECXtive，一个特别快的近似EC2，并评估它的贝叶斯实验设计问题，涉及人类受试者，旨在梳理除了竞争的经济理论，人们如何在不确定性下作出决定。
2013-12-16 cs.AI cs.DS cs.LG
Bayesian Active Learning by Disagreements: A Geometric Perspective
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
我们提出了几何贝叶斯主动学习的分歧（GBALD），一个框架，执行BALD的核心集建设与模型不确定性估计。从技术上讲，GBALD在椭球体上构造核心集，而不是典型的球体，从而防止了来自球体边界的低代表性元素。改进是双重的：1）减轻无信息的先验和2）减少冗余估计。从理论上讲，椭球面测地线搜索比球面测地线搜索具有更严格的误差下限，更容易实现零误差。实验表明，该算法对噪声和重复样本的扰动较小，性能优于BALD、BatchBALD等现有的深度主动学习方法。
2021-05-06 cs.LG
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK（计算与工程学院贝德福德郡大学，卢顿，英国）
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树，建立了理性承诺阈值的完整非渐近理论，回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Targeted Active Learning for Bayesian Decision-Making
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在监督学习中，主动学习通常用于获取信息数据点的标签，以样本有效的方式最大限度地提高准确性。然而，当结果用于决策时，例如在个性化医疗或经济学中，最大限度地提高准确性并不是最终目标。我们认为，当连续获取样本时，分离学习和决策是次优的，我们引入了一个主动学习策略，该策略考虑到了线下决策问题。具体来说，我们引入了一种新的主动学习标准，最大限度地提高预期的信息增益的后验分布的最优决策。我们将我们的目标主动学习策略与模拟和真实数据上的现有替代方案进行了比较，并在决策准确性方面表现出更好的性能。
2021-10-20 cs.AI cs.LG stat.ML
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Embedded Bayesian Network Classifiers
Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
贝叶斯网络中局部分布函数的低维概率模型包括决策树、决策图和因果独立模型。我们描述了一个新的概率模型的离散贝叶斯网络，我们称之为嵌入式贝叶斯网络分类器或EBNC。给定父节点$\bf X$的节点$Y$的模型从用于$Y$和$\bf X$的（通常不同的）贝叶斯网络获得，其中$\bf X$不需要是$Y$的父节点。我们证明了EBNC是softmax多项式回归模型的一个特例。此外，我们将展示如何识别一个EBNC的非冗余参数集，并描述了一个渐近近似学习的贝叶斯网络，包含EBNC的结构。与决策树、决策图和因果独立模型不同，我们不知道使用这些模型的语义理由。需要实验来确定本文提出的模型是否在实践中是有用的。
2019-10-22 cs.AI cs.LG stat.ML
Making Better Use of Unlabelled Data in Bayesian Active Learning
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
针对贝叶斯主动学习中全监督模型忽视无标签信息的问题，提出一种简单的半监督贝叶斯主动学习框架，其性能优于传统方法且更易扩展，强调了模型与数据获取方法联合研究的重要性。
2024-04-26 cs.LG stat.ML
Robust Bayesian Decision Making under Adversarial Uncertainty
The University of Manchester（曼彻斯特大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）
研究对抗性不确定性下的决策问题，基于贝叶斯决策理论，提出序列对抗鲁棒决策感知实验设计方法，通过形式化对抗鲁棒最优决策和推导设计标准，使决策在对抗变化下更稳定可靠。
2026-07-14 cs.LG
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
A Novel Bayesian Classifier using Copula Functions
表示贝叶斯分类器的一种有用方法是通过\emph{discriminant functions}。在这里，使用Copula函数，我们提出了一个新的模型的判别。该模型提供了一个丰富的和广义类的决策边界。这些决策边界显著提高了分类精度，尤其是对于高维特征空间。我们通过模拟结果加强我们的分析。
2006-12-05 cs.AI cs.IR cs.LG
Combining X-Vectors and Bayesian Batch Active Learning: Two-Stage Active Learning Pipeline for Speech Recognition
本文提出一种结合X向量和贝叶斯批量主动学习的两阶段流程，用于优化语音识别中的主动学习效率与数据利用。
2025-04-25 cs.AI cs.CL cs.LG
A Bayesian Decision Tree Algorithm
UBS（瑞银集团（UBS））
贝叶斯决策树以其概率可解释性而闻名。然而，它们的建造有时可能是昂贵的。在这篇文章中，我们提出了一个通用的贝叶斯决策树算法适用于回归和分类问题。该算法不应用马尔可夫链蒙特卡罗，不需要修剪步骤。虽然可以构造一个加权概率树空间，但我们发现一个特定的树，贪婪模态树（GMT），解释了数值示例中包含的大部分信息。这种方法似乎与随机森林类似。
2020-09-22 cs.LG stat.ML
BOBA: Dynamic Bayesian Optimization through Bayesian Active Inference
University College London（伦敦大学学院）
针对动态黑箱优化中现有方法忽视时间变化的问题，提出基于自由能原理的采集函数BOBA，通过最小化未来状态预测不确定性，在查询受限设置中显著降低遗憾值。
2026-09-23 cs.LG
The Approximation Ratio for the Risk of Myopic Bayesian Active Learning for Linear Regression
School of Computer Science（计算机科学学院）；Georgia Institute of Technology（佐治亚理工学院）
研究线性回归中近视贝叶斯主动学习风险的近似率，核心方法是证明贪心算法风险的近似率，主要贡献是得出该近似率在最大初始杠杆得分上线性相关，并通过数值模拟说明结果。
2026-07-09 cs.LG
Bayesian Active Learning for Censored Regression
Technical University of Denmark（丹麦技术大学）
针对删失回归中BALD难以估计的问题，推导了删失分布的熵与互信息，提出$\mathcal{C}$-BALD目标及估计方法，在多种数据集与模型上优于其他贝叶斯主动学习方法。
2024-02-19 cs.LG stat.ML
Bayesian active learning for production, a systematic study and a reusable library
Element AI（Element AI公司）
主动学习能够通过使用机器学习模型向用户查询特定输入来减少标记工作量。虽然有许多关于新的主动学习技术的论文，但这些技术很少满足现实世界项目的约束。在本文中，我们分析了当前的主动学习技术的主要缺点，我们提出了方法来减轻他们。我们系统地研究了现实世界数据集最常见的问题对深度主动学习过程的影响：模型收敛，注释错误和数据集不平衡。我们得到两种技术，可以加快主动学习循环，如部分不确定性采样和更大的查询大小。最后，我们介绍了我们的开源贝叶斯主动学习库BaaL。
2020-06-17 cs.LG stat.ML
ABC3: Active Bayesian Causal Inference with Cohn Criteria in Randomized Experiments
Korea University（高丽大学）
提出ABC3主动贝叶斯因果推断策略，通过最小化积分后验方差和组间不平衡，在随机实验中高效估计条件平均处理效应，并经真实数据实验验证其效率与理论性质。
2024-12-15 cs.AI cs.LG stat.ME
Bayesian policy selection using active inference
Ghent University - imec（根特大学-imec）
学习根据观察采取行动是人工智能体能够成功和强大地完成任务的核心要求。强化学习（RL）是用于学习此类策略的众所周知的技术。然而，目前的强化学习算法通常必须处理奖励塑造，难以推广到其他环境，并且通常样本效率低下。在本文中，我们探讨了主动推理和自由能原理，这是一种来自神经科学的规范理论，它解释了自组织生物系统如何通过维护世界模型和将动作选择作为推理问题来运行。我们将这个概念应用到RL社区已知的一个典型问题，山地车问题，并展示了主动推理如何包括RL和示教学习。
2019-04-25 cs.AI cs.LG cs.NE
Divide, Conquer, Combine Bayesian Decision Tree Sampling
本文提出DCC-Tree方法，通过将每个树结构与唯一决策参数关联，解决了贝叶斯决策树采样中结构与参数耦合难题，提升了采样效率与一致性。
2024-03-26 cs.LG
Bayesian Active Learning with Fully Bayesian Gaussian Processes
DTU Management（丹麦技术大学管理学院）
偏差-方差权衡是机器学习中的一个众所周知的问题，可用数据越少，这个问题就会变得越明显。在主动学习中，标记的数据很少或难以获得，忽略这种权衡可能会导致低效和非最佳查询，从而导致不必要的数据标记。在本文中，我们专注于主动学习与高斯过程（GP）。对于GP，通过优化两个超参数：长度尺度和噪声项来进行偏差-方差权衡。考虑到超参数联合后验的最优模式等价于最优偏差-方差权衡，我们对该联合后验进行了近似，并利用它设计了两个新的捕获函数。第一个是委员会查询（B-QBC）的贝叶斯变体，第二个是通过混合高斯过程查询（QB-MGP）公式明确最小化预测方差的扩展。在六个模拟器中，我们的经验表明，平均而言，B-QBC实现了最佳的边际似然，而QB-MGP实现了最佳的预测性能。我们表明，将偏差方差权衡收购功能减轻不必要的和昂贵的数据标签。
2023-01-15 cs.LG
Variational Bayesian Decision-making for Continuous Utilities
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯决策理论概述了一个严格的框架，使最佳决策的基础上最大限度地提高预期效用的模型后验。然而，从业者往往没有获得完整的后验和诉诸近似推理策略。在这种情况下，在执行推理时考虑最终的决策任务允许校准后验近似以最大化效用。我们提出了一个自动流水线，co-opts连续效用到变分推断算法，占决策。我们提供了实用的策略，近似和最大化的增益，并根据经验证明一致的改进时，校准近似特定的实用程序。
2019-10-27 cs.LG stat.ML
Bayesian active learning for choice models with deep Gaussian processes
Northwestern University（西北大学）
在本文中，我们提出了一个主动学习算法和模型，可以逐步学习个人的偏好，通过两两比较。主动学习方案的目的是找到个人的最喜欢的选择与最小数量的成对比较。基于选择模型和深度高斯过程的假设，将成对比较编码到概率模型中。下一个比较的决定是由一个新的采集功能。我们使用具有多个局部最优值和一个公共航空公司行程数据集的函数对所提出的算法和模型进行基准测试。实验结果表明了该主动学习算法和模型的有效性。
2018-05-04 cs.LG stat.ML
Active Bayesian Optimization: Minimizing Minimizer Entropy
Center for Perceptual Systems（感知系统中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
优化的最终目标是找到目标函数的最小值，然而，典型的主动优化准则往往忽略了最小值的不确定性。提出了一种新的全局优化准则和一种基于高斯过程的序贯主动学习策略，该准则是函数极小值的后验分布的不确定性的减小.它还可以灵活地合并多个全局极小化器。我们实现了一个易于处理的近似的标准，并证明了它获得的全局最小值准确相比，传统的贝叶斯优化标准。
2012-02-09 cs.LG stat.ME stat.ML
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine（加州大学欧文分校）
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下，迫切需要可靠地评估这些预先训练的模型的性能，并以标签有效的方式执行这种评估（考虑到标签可能稀缺且收集成本高）。在本文中，我们介绍了一种主动贝叶斯方法来评估分类器的性能，以满足desiderata的可靠性和标签效率。我们首先开发推理策略，以量化常见的评估指标，如准确性，误分类成本和校准误差的不确定性。然后，我们提出了一个通用的框架，主动贝叶斯评估使用推断的不确定性，以指导有效的选择标签的实例，使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验（例如，ResNet和BERT）在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
Episode-Based Active Learning with Bayesian Neural Networks
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
我们研究了使用贝叶斯深度神经网络进行主动学习的不同策略。我们的分析集中在新的，未标记的数据是偶然获得的情况下，如在移动机器人应用中常见的。对CIFAR-10数据集的不同采集、更新和最终训练策略的评估表明，在累积采集集上进行最终训练的增量网络更新对于获得最佳性能至关重要，同时限制了所需的人工标记劳动量。
2017-03-21 cs.CV cs.LG stat.ML
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
PowerEvaluationBALD: Efficient Evaluation-Oriented Deep (Bayesian) Active Learning with Stochastic Acquisition Functions
University of Oxford（牛津大学）；OATML；Department of Computer Science（计算机科学系）
我们开发了BatchEvaluationBALD，这是一种用于深度贝叶斯主动学习的新获取函数，作为BatchBALD的扩展，它考虑了未标记数据的评估集，例如池集。我们还为非贝叶斯设置开发了一个变体，我们称之为评估信息增益。为了减少计算要求，并允许这些方法扩展到更大的收购批量大小，我们引入随机收购功能，使用重要性采样的回火收购分数。我们将此方法称为PowerEvaluationBALD。我们在一些初步实验中表明，PowerEvaluationBALD与BatchEvaluationBALD的工作原理相当，后者在重复MNIST（MNISTx2）上的性能优于BatchBALD，同时与BatchBALD或BatchEvaluationBALD相比，大大降低了计算要求。
2021-05-10 cs.LG math.OC
Deep Bayesian Active Learning with Image Data
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
尽管主动学习是机器学习的重要支柱，但深度学习工具在其中并不普遍。深度学习在主动学习环境中使用时会带来一些困难。首先，主动学习（AL）方法通常依赖于能够从少量数据中学习和更新模型。另一方面，深度学习的最新进展因其对大量数据的依赖而臭名昭著。其次，许多AL获取功能依赖于模型不确定性，但深度学习方法很少表示这种模型不确定性。在本文中，我们以实用的方式将贝叶斯深度学习的最新进展结合到主动学习框架中。我们开发了一个主动学习框架，高维数据，一个任务，这是非常具有挑战性的，到目前为止，非常稀疏的现有文献。利用专门的模型，如贝叶斯卷积神经网络，我们展示了我们的主动学习技术与图像数据，获得显着改善现有的主动学习方法。我们在MNIST数据集以及来自病变图像的皮肤癌诊断（ISIC 2016任务）上证明了这一点。
2017-03-08 cs.CV cs.LG stat.ML
Loss-Driven Bayesian Active Learning
University of Oxford（牛津大学）
本文提出一种基于损失的贝叶斯主动学习方法，通过将损失函数转化为优化目标，提升下游任务的预测性能。实验表明该方法在回归和分类任务中有效降低了测试损失。
2026-05-08 cs.LG
Big Batch Bayesian Active Learning by Considering Predictive Probabilities
AstraZeneca（阿斯利康）；University of Bristol（布里斯托尔大学）；Lancaster University（兰卡斯特大学）
针对BatchBALD采集函数混淆两类不确定性导致性能不佳的问题，提出基于仅含认知不确定性的预测概率的批量贝叶斯主动学习采集函数，兼具更优性能与更快评估速度，可支持更大批量。
2025-01-14 cs.LG stat.ML
Active Learning for Bayesian 3D Hand Pose Estimation
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
我们提出了一个贝叶斯近似的深度学习架构的3D手姿态估计。通过这个框架，我们探索和分析了两种类型的不确定性，无论是由数据或学习能力的影响。此外，我们在三个流行的基准上与标准估计量进行了比较。第一个贡献在于优于基线，而在第二部分中，我们解决了主动学习应用。我们还表明，与一个新提出的采集功能，我们的贝叶斯3D手姿态估计获得最低的错误与最少的数据量。底层代码可在https://github.com/razvancaramalau/al_bhpe上公开获得。
2021-02-21 cs.CV cs.LG cs.RO
Bayesian Batch Active Learning as Sparse Subset Approximation
University of Cambridge（剑桥大学）
利用近年来产生的大量未标记数据为改进监督模型提供了巨大的潜力。当获取标签的成本很高时，可以使用概率主动学习方法来选择要标记的信息量最大的数据点。然而，对于许多大规模的问题，标准的贪婪程序在计算上变得不可行，并且遭受可以忽略不计的模型变化。在本文中，我们介绍了一种新的贝叶斯批量主动学习方法，减轻这些问题。我们的方法的动机是近似模型参数的完整数据后验。虽然朴素的批处理构造方法会导致相关查询，但我们的算法会产生不同的批处理，从而实现大规模的有效主动学习。我们推导出类似于现有的线性模型的主动学习程序的可解释的封闭形式的解决方案，并推广到任意模型使用随机投影。我们证明了我们的方法在几个大规模的回归和分类任务的好处。
2021-02-08 cs.LG stat.ML
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的非近视自适应高斯过程规划（GPP）框架，赋予了一般类的Lipschitz连续奖励函数，可以统一一些主动学习/传感和贝叶斯优化标准，并提供从业者一些灵活性，以指定他们所需的选择，定义新的任务/问题。特别是，它利用了一个原则性的贝叶斯顺序决策问题的框架，共同和自然优化的勘探开发权衡。一般来说，由于候选观测的不可数集合，所得到的诱导GPP策略不能精确地导出。因此，我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP（ε-GPP）的政策。为了实时规划，我们进一步提出了一个渐进最优的，分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性，它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯模型量化不确定性，并促进下游应用的最佳决策。然而，对于大多数模型，从业者被迫使用近似推理技术，由于不正确的后验预测分布，导致次优决策。我们提出了一种新的方法，通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型，使最佳决策下的近似后验，结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序，无论后验推理策略。我们证明了经验的方法在几个问题，确认其潜力。
2019-09-11 cs.LG stat.ML
Parallel Approaches to Accelerate Bayesian Decision Trees
University of Liverpool（利物浦大学）
马尔可夫链蒙特卡罗（MCMC）是一个成熟的算法家族，主要用于贝叶斯统计，当直接采样具有挑战性时，从目标分布中进行采样。贝叶斯决策树的现有工作使用MCMC。不幸的是，这可能很慢，特别是在考虑大量数据时。很难并行化MCMC的接受-拒绝组件。然而，我们提出了两种方法，利用并行MCMC：在第一，我们取代MCMC与另一个数值贝叶斯方法，序贯蒙特卡罗（SMC）采样器，它具有吸引力的属性，它是一个固有的并行算法;在第二，我们考虑数据分区。这两种方法都使用具有高性能计算（HPC）资源的多核处理。我们在各种研究环境中测试这两种方法，以确定哪种方法对每个测试用例最有利。实验表明，数据分区在我们考虑的设置中具有有限的实用性，并且使用SMC采样器可以提高运行时间（与顺序实现相比）高达343倍。
2023-01-22 cs.AI cs.DC cs.LG
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Fantasizing with Dual GPs in Bayesian Optimization and Active Learning
Aalto University（阿尔托大学）
高斯过程（GP）是用于序列建模的主要替代函数，如贝叶斯优化和主动学习。它们的缺点是数据缩放能力差，并且在使用非高斯似然时需要运行优化循环。在本文中，我们专注于“幻想”批量采集功能，需要的能力条件下，新的幻想数据计算效率。通过使用稀疏双GP参数化，我们获得了线性缩放批量大小以及非高斯似然的一步更新，从而将稀疏模型扩展到贪婪批量幻想采集函数。
2022-11-02 cs.LG stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge（剑桥大学）
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法，但迄今为止的研究都集中在平均准确度作为主要指标。然而，要用模型取代昂贵的关键任务实验，高平均精度是不够的：离群值可能会破坏发现活动，因此模型需要可靠地预测何时会失败，即使训练数据有偏差;实验是昂贵的，因此模型需要数据高效，并使用主动学习建议信息丰富的训练集。我们表明，不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样，以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离，在低数据限制下保持不确定性估计的准确性，并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
Fast Posterior Estimation of Cardiac Electrophysiological Model Parameters via Bayesian Active Learning
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
心脏电生理模型参数的概率估计是模型个性化和不确定量化的重要一步。然而，与这些模型模拟相关联的昂贵的计算使得模型参数的后验概率密度函数（pdf）的直接马尔可夫链蒙特卡罗（MCMC）采样计算密集。另一方面，用计算效率高的替代品替换模拟模型所得到的近似后验概率密度函数的准确性有限。本文提出了一种贝叶斯主动学习方法来直接逼近心脏模型参数的后验概率密度函数，该方法智能地选择训练点查询仿真模型，以便使用少量样本学习后验概率密度函数。我们将生成模型集成到贝叶斯主动学习中，以允许在心脏网格的分辨率下近似高维模型参数的后验pdf。我们进一步引入新的采集函数，将训练点的选择集中在更好地近似形状上，而不是感兴趣的后验pdf的模式。我们评估了所提出的方法估计组织兴奋性的三维心脏电生理模型在一系列的合成和真实数据的实验。我们证明了其改进的精度相比，贝叶斯主动学习使用定期采集功能，并大大降低了计算成本相比，现有的标准或加速MCMC采样的后验概率密度函数。
2021-10-13 cs.LG
Lévy walks derived from a Bayesian decision-making model in non-stationary environments
The University of Tokyo（东京大学）；SoftBank Robotics Group Corp.（软银机器人集团公司）；Osaka City University（大阪市立大学）；Waseda University（早稻田大学）；Shinshu University（信州大学）
Lévy Walks在各种生物的迁移行为模式中被发现，这种现象的原因已经被广泛讨论。我们使用模拟来证明，学习导致在非平稳环境中的决策过程中的置信水平的变化，并导致Lévy-walk-like模式。一种涉及置信度的推理算法是贝叶斯推理。我们提出了一种算法，引入学习和遗忘的影响贝叶斯推理，并模拟模仿游戏中，两个决策代理将算法估计对方的内部模型，从他们的对手的观测数据。对于没有学习的遗忘，由于缺乏关于对方的信息，代理人的信心水平仍然很低，并且布朗行走发生在很宽的遗忘率范围内。相反，当学习被引入时，即使在高遗忘率的情况下，高置信水平偶尔也会出现，布朗漫步普遍成为通过高置信和低置信状态混合的列维漫步。
2020-12-16 cs.AI cs.LG cs.MA
Decision Making under Model Misspecification: DRO with Robust Bayesian Ambiguity Sets
University of Warwick（华威大学）
本文提出DRO-RoBAS方法，通过以鲁棒后验预测分布为中心的最大均值差异模糊集处理模型误设问题，在报童和投资组合问题上取得优于现有贝叶斯及经验DRO方法的样本外表现。
2025-05-06 cs.LG stat.ML
Bayesian Optimal Active Search and Surveying
Carnegie Mellon University（卡内基梅隆大学）；Uppsala Universitet（乌普萨拉大学）
我们考虑两个积极的二进制分类问题与非典型目标。在第一个主动搜索中，我们的目标是主动发现尽可能多的给定类的成员。在第二个主动调查中，我们的目标是主动查询点，以最终预测给定类的比例。许多现实世界中的问题都可以用这些术语来描述，在任何一种情况下，典型的基于模型的问题，如泛化误差都只是次要的。我们通过贝叶斯决策理论来解决这些问题，在选择自然效用函数后，我们得到最优策略。我们提供三项贡献。除了引入主动测量问题，我们扩展了以前的工作，主动搜索在两个方面。首先，我们证明了一个新的理论结果，少近视近似的最优策略可以优于任何程度的近视近似。然后，我们推导出的界限，对于某些模型，使我们能够减少（在实践中显着）的指数搜索空间所需的一个天真的实施的最佳政策，使进一步的前瞻，同时仍然确保最佳决策总是。
2012-06-27 cs.LG stat.ML
Active Learning and Bayesian Optimization: a Unified Perspective to Learn with a Goal
Politecnico di Torino（都灵理工大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出统一视角，将贝叶斯优化与主动学习形式化为由共同原则驱动的共生自适应采样方法，并通过准则映射、通用分类及基准实验揭示两者协同作用与适用边界。
2024-07-07 cs.LG stat.ML
BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning
University of Oxford（牛津大学）
我们开发了BatchBALD，这是一批点和模型参数之间的互信息的一种易于处理的近似，我们将其用作采集函数，以联合选择多个信息点，用于深度贝叶斯主动学习的任务。BatchBALD是一个贪婪的线性时间$1 - \frac{1}{e}$近似算法，适合于动态规划和高效缓存。我们将BatchBALD与常用的批量数据采集方法进行比较，发现当前方法采集相似和冗余点，有时比随机采集数据的性能更差。最后，我们表明，使用BatchBALD考虑在一个收购批次的依赖关系，我们实现了新的国家的最先进的性能标准的基准测试，提供大量的数据效率提高批量收购。
2019-10-28 cs.LG stat.ML
