Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology（佐治亚理工学院）
本文提出ParBaLS方法，用于改进EPIG算法在大规模批量中的性能，通过实验验证其在固定预算下优于其他方法，适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
Near Optimal Bayesian Active Learning for Decision Making
Carnegie Mellon University（卡内基梅隆大学）；ETH Zürich（苏黎世联邦理工学院）
我们应该如何收集信息以做出有效的决策？我们解决贝叶斯主动学习和实验设计问题，在那里我们依次选择测试，以减少一组假设的不确定性。而不是最小化不确定性本身，我们认为这些假设的一组重叠的决策区域。我们的目标是尽可能快地将不确定性引入单个决策区域。我们确定的必要条件和充分条件，正确识别一个决策区域，包含所有的假设与观察一致。我们开发了一种新的超边缘切割（HEC）算法，并证明了这是竞争的棘手的最优策略。该算法的有效实现依赖于计算完全齐次对称多项式的子集。最后，我们证明了它的有效性在两个实际应用：近似比较为基础的学习和主动定位使用机器人操作器。
2014-02-24 cs.AI cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Near-Optimal Bayesian Active Learning with Noisy Observations
Caltech（加州理工学院）
我们解决了贝叶斯主动学习与噪声的基本问题，我们需要自适应地选择从一些昂贵的测试，以确定一个未知的假设采样从已知的先验分布。在无噪声观测的情况下，称为广义二进制搜索（GBS）的贪心算法被称为执行接近最优。我们表明，如果观察是嘈杂的，也许令人惊讶的是，GBS可以执行非常差。我们开发了EC2，一种新的，贪婪的主动学习算法，并证明了它是竞争的最优策略，从而获得第一竞争力保证贝叶斯主动学习与噪声观测。我们的界限依赖于最近发现的收益递减属性称为自适应次模块化，推广的经典概念的次模块集函数的自适应政策。即使测试具有非均匀成本并且它们的噪声是相关的，我们的结果也成立。我们还提出了EffECXtive，一个特别快的近似EC2，并评估它的贝叶斯实验设计问题，涉及人类受试者，旨在梳理除了竞争的经济理论，人们如何在不确定性下作出决定。
2013-12-16 cs.AI cs.DS cs.LG
Bayesian Active Learning by Disagreements: A Geometric Perspective
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
我们提出了几何贝叶斯主动学习的分歧（GBALD），一个框架，执行BALD的核心集建设与模型不确定性估计。从技术上讲，GBALD在椭球体上构造核心集，而不是典型的球体，从而防止了来自球体边界的低代表性元素。改进是双重的：1）减轻无信息的先验和2）减少冗余估计。从理论上讲，椭球面测地线搜索比球面测地线搜索具有更严格的误差下限，更容易实现零误差。实验表明，该算法对噪声和重复样本的扰动较小，性能优于BALD、BatchBALD等现有的深度主动学习方法。
2021-05-06 cs.LG
Targeted Active Learning for Bayesian Decision-Making
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在监督学习中，主动学习通常用于获取信息数据点的标签，以样本有效的方式最大限度地提高准确性。然而，当结果用于决策时，例如在个性化医疗或经济学中，最大限度地提高准确性并不是最终目标。我们认为，当连续获取样本时，分离学习和决策是次优的，我们引入了一个主动学习策略，该策略考虑到了线下决策问题。具体来说，我们引入了一种新的主动学习标准，最大限度地提高预期的信息增益的后验分布的最优决策。我们将我们的目标主动学习策略与模拟和真实数据上的现有替代方案进行了比较，并在决策准确性方面表现出更好的性能。
2021-10-20 cs.AI cs.LG stat.ML
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Making Better Use of Unlabelled Data in Bayesian Active Learning
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
针对贝叶斯主动学习中全监督模型忽视无标签信息的问题，提出一种简单的半监督贝叶斯主动学习框架，其性能优于传统方法且更易扩展，强调了模型与数据获取方法联合研究的重要性。
2024-04-26 cs.LG stat.ML
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Combining X-Vectors and Bayesian Batch Active Learning: Two-Stage Active Learning Pipeline for Speech Recognition
本文提出一种结合X向量和贝叶斯批量主动学习的两阶段流程，用于优化语音识别中的主动学习效率与数据利用。
2025-04-25 cs.AI cs.CL cs.LG
BOBA: Dynamic Bayesian Optimization through Bayesian Active Inference
University College London（伦敦大学学院）
针对动态黑箱优化中现有方法忽视时间变化的问题，提出基于自由能原理的采集函数BOBA，通过最小化未来状态预测不确定性，在查询受限设置中显著降低遗憾值。
2026-09-23 cs.LG
The Approximation Ratio for the Risk of Myopic Bayesian Active Learning for Linear Regression
School of Computer Science（计算机科学学院）；Georgia Institute of Technology（佐治亚理工学院）
研究线性回归中近视贝叶斯主动学习风险的近似率，核心方法是证明贪心算法风险的近似率，主要贡献是得出该近似率在最大初始杠杆得分上线性相关，并通过数值模拟说明结果。
2026-07-09 cs.LG
Bayesian Active Learning for Censored Regression
Technical University of Denmark（丹麦技术大学）
针对删失回归中BALD难以估计的问题，推导了删失分布的熵与互信息，提出$\mathcal{C}$-BALD目标及估计方法，在多种数据集与模型上优于其他贝叶斯主动学习方法。
2024-02-19 cs.LG stat.ML
Bayesian active learning for production, a systematic study and a reusable library
Element AI（Element AI公司）
主动学习能够通过使用机器学习模型向用户查询特定输入来减少标记工作量。虽然有许多关于新的主动学习技术的论文，但这些技术很少满足现实世界项目的约束。在本文中，我们分析了当前的主动学习技术的主要缺点，我们提出了方法来减轻他们。我们系统地研究了现实世界数据集最常见的问题对深度主动学习过程的影响：模型收敛，注释错误和数据集不平衡。我们得到两种技术，可以加快主动学习循环，如部分不确定性采样和更大的查询大小。最后，我们介绍了我们的开源贝叶斯主动学习库BaaL。
2020-06-17 cs.LG stat.ML
ABC3: Active Bayesian Causal Inference with Cohn Criteria in Randomized Experiments
Korea University（高丽大学）
提出ABC3主动贝叶斯因果推断策略，通过最小化积分后验方差和组间不平衡，在随机实验中高效估计条件平均处理效应，并经真实数据实验验证其效率与理论性质。
2024-12-15 cs.AI cs.LG stat.ME
Bayesian policy selection using active inference
Ghent University - imec（根特大学-imec）
学习根据观察采取行动是人工智能体能够成功和强大地完成任务的核心要求。强化学习（RL）是用于学习此类策略的众所周知的技术。然而，目前的强化学习算法通常必须处理奖励塑造，难以推广到其他环境，并且通常样本效率低下。在本文中，我们探讨了主动推理和自由能原理，这是一种来自神经科学的规范理论，它解释了自组织生物系统如何通过维护世界模型和将动作选择作为推理问题来运行。我们将这个概念应用到RL社区已知的一个典型问题，山地车问题，并展示了主动推理如何包括RL和示教学习。
2019-04-25 cs.AI cs.LG cs.NE
Bayesian Active Learning with Fully Bayesian Gaussian Processes
DTU Management（丹麦技术大学管理学院）
偏差-方差权衡是机器学习中的一个众所周知的问题，可用数据越少，这个问题就会变得越明显。在主动学习中，标记的数据很少或难以获得，忽略这种权衡可能会导致低效和非最佳查询，从而导致不必要的数据标记。在本文中，我们专注于主动学习与高斯过程（GP）。对于GP，通过优化两个超参数：长度尺度和噪声项来进行偏差-方差权衡。考虑到超参数联合后验的最优模式等价于最优偏差-方差权衡，我们对该联合后验进行了近似，并利用它设计了两个新的捕获函数。第一个是委员会查询（B-QBC）的贝叶斯变体，第二个是通过混合高斯过程查询（QB-MGP）公式明确最小化预测方差的扩展。在六个模拟器中，我们的经验表明，平均而言，B-QBC实现了最佳的边际似然，而QB-MGP实现了最佳的预测性能。我们表明，将偏差方差权衡收购功能减轻不必要的和昂贵的数据标签。
2023-01-15 cs.LG
Bayesian active learning for choice models with deep Gaussian processes
Northwestern University（西北大学）
在本文中，我们提出了一个主动学习算法和模型，可以逐步学习个人的偏好，通过两两比较。主动学习方案的目的是找到个人的最喜欢的选择与最小数量的成对比较。基于选择模型和深度高斯过程的假设，将成对比较编码到概率模型中。下一个比较的决定是由一个新的采集功能。我们使用具有多个局部最优值和一个公共航空公司行程数据集的函数对所提出的算法和模型进行基准测试。实验结果表明了该主动学习算法和模型的有效性。
2018-05-04 cs.LG stat.ML
Active Bayesian Optimization: Minimizing Minimizer Entropy
Center for Perceptual Systems（感知系统中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
优化的最终目标是找到目标函数的最小值，然而，典型的主动优化准则往往忽略了最小值的不确定性。提出了一种新的全局优化准则和一种基于高斯过程的序贯主动学习策略，该准则是函数极小值的后验分布的不确定性的减小.它还可以灵活地合并多个全局极小化器。我们实现了一个易于处理的近似的标准，并证明了它获得的全局最小值准确相比，传统的贝叶斯优化标准。
2012-02-09 cs.LG stat.ME stat.ML
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine（加州大学欧文分校）
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下，迫切需要可靠地评估这些预先训练的模型的性能，并以标签有效的方式执行这种评估（考虑到标签可能稀缺且收集成本高）。在本文中，我们介绍了一种主动贝叶斯方法来评估分类器的性能，以满足desiderata的可靠性和标签效率。我们首先开发推理策略，以量化常见的评估指标，如准确性，误分类成本和校准误差的不确定性。然后，我们提出了一个通用的框架，主动贝叶斯评估使用推断的不确定性，以指导有效的选择标签的实例，使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验（例如，ResNet和BERT）在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
Episode-Based Active Learning with Bayesian Neural Networks
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
我们研究了使用贝叶斯深度神经网络进行主动学习的不同策略。我们的分析集中在新的，未标记的数据是偶然获得的情况下，如在移动机器人应用中常见的。对CIFAR-10数据集的不同采集、更新和最终训练策略的评估表明，在累积采集集上进行最终训练的增量网络更新对于获得最佳性能至关重要，同时限制了所需的人工标记劳动量。
2017-03-21 cs.CV cs.LG stat.ML
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
PowerEvaluationBALD: Efficient Evaluation-Oriented Deep (Bayesian) Active Learning with Stochastic Acquisition Functions
University of Oxford（牛津大学）；OATML；Department of Computer Science（计算机科学系）
我们开发了BatchEvaluationBALD，这是一种用于深度贝叶斯主动学习的新获取函数，作为BatchBALD的扩展，它考虑了未标记数据的评估集，例如池集。我们还为非贝叶斯设置开发了一个变体，我们称之为评估信息增益。为了减少计算要求，并允许这些方法扩展到更大的收购批量大小，我们引入随机收购功能，使用重要性采样的回火收购分数。我们将此方法称为PowerEvaluationBALD。我们在一些初步实验中表明，PowerEvaluationBALD与BatchEvaluationBALD的工作原理相当，后者在重复MNIST（MNISTx2）上的性能优于BatchBALD，同时与BatchBALD或BatchEvaluationBALD相比，大大降低了计算要求。
2021-05-10 cs.LG math.OC
Bayesian Active Learning for Sim-to-Real Robotic Perception
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
虽然从合成训练数据中学习最近得到了越来越多的关注，但在现实世界的机器人应用中，由于所谓的模拟到真实的差距，仍然存在性能缺陷。在实践中，仅用合成数据很难解决这一差距。因此，我们专注于在Sim-to-Real学习管道中有效获取真实数据。具体来说，我们采用深度贝叶斯主动学习来最大限度地减少手动注释工作，并设计一个自主学习范式来选择被认为对人类专家有用的数据进行注释。为了实现这一点，提供可靠的不确定性估计的贝叶斯神经网络（BNN）对象检测器适于推断未标记数据的信息量。此外，为了应对不确定性为基础的抽样标签分布的错位，我们开发了一个有效的随机抽样策略，表现良好相比，其他复杂的替代品。在我们对对象分类和检测的实验中，我们展示了我们的方法的好处，并提供了可以显着减少标记工作的证据。最后，我们证明了这一想法的实际有效性，在一个辅助机器人的抓取任务。
2022-08-01 cs.AI cs.LG cs.RO
Deep Bayesian Active Learning with Image Data
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
尽管主动学习是机器学习的重要支柱，但深度学习工具在其中并不普遍。深度学习在主动学习环境中使用时会带来一些困难。首先，主动学习（AL）方法通常依赖于能够从少量数据中学习和更新模型。另一方面，深度学习的最新进展因其对大量数据的依赖而臭名昭著。其次，许多AL获取功能依赖于模型不确定性，但深度学习方法很少表示这种模型不确定性。在本文中，我们以实用的方式将贝叶斯深度学习的最新进展结合到主动学习框架中。我们开发了一个主动学习框架，高维数据，一个任务，这是非常具有挑战性的，到目前为止，非常稀疏的现有文献。利用专门的模型，如贝叶斯卷积神经网络，我们展示了我们的主动学习技术与图像数据，获得显着改善现有的主动学习方法。我们在MNIST数据集以及来自病变图像的皮肤癌诊断（ISIC 2016任务）上证明了这一点。
2017-03-08 cs.CV cs.LG stat.ML
Loss-Driven Bayesian Active Learning
University of Oxford（牛津大学）
本文提出一种基于损失的贝叶斯主动学习方法，通过将损失函数转化为优化目标，提升下游任务的预测性能。实验表明该方法在回归和分类任务中有效降低了测试损失。
2026-05-08 cs.LG
Big Batch Bayesian Active Learning by Considering Predictive Probabilities
AstraZeneca（阿斯利康）；University of Bristol（布里斯托尔大学）；Lancaster University（兰卡斯特大学）
针对BatchBALD采集函数混淆两类不确定性导致性能不佳的问题，提出基于仅含认知不确定性的预测概率的批量贝叶斯主动学习采集函数，兼具更优性能与更快评估速度，可支持更大批量。
2025-01-14 cs.LG stat.ML
Active Learning for Bayesian 3D Hand Pose Estimation
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
我们提出了一个贝叶斯近似的深度学习架构的3D手姿态估计。通过这个框架，我们探索和分析了两种类型的不确定性，无论是由数据或学习能力的影响。此外，我们在三个流行的基准上与标准估计量进行了比较。第一个贡献在于优于基线，而在第二部分中，我们解决了主动学习应用。我们还表明，与一个新提出的采集功能，我们的贝叶斯3D手姿态估计获得最低的错误与最少的数据量。底层代码可在https://github.com/razvancaramalau/al_bhpe上公开获得。
2021-02-21 cs.CV cs.LG cs.RO
Bayesian Batch Active Learning as Sparse Subset Approximation
University of Cambridge（剑桥大学）
利用近年来产生的大量未标记数据为改进监督模型提供了巨大的潜力。当获取标签的成本很高时，可以使用概率主动学习方法来选择要标记的信息量最大的数据点。然而，对于许多大规模的问题，标准的贪婪程序在计算上变得不可行，并且遭受可以忽略不计的模型变化。在本文中，我们介绍了一种新的贝叶斯批量主动学习方法，减轻这些问题。我们的方法的动机是近似模型参数的完整数据后验。虽然朴素的批处理构造方法会导致相关查询，但我们的算法会产生不同的批处理，从而实现大规模的有效主动学习。我们推导出类似于现有的线性模型的主动学习程序的可解释的封闭形式的解决方案，并推广到任意模型使用随机投影。我们证明了我们的方法在几个大规模的回归和分类任务的好处。
2021-02-08 cs.LG stat.ML
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的非近视自适应高斯过程规划（GPP）框架，赋予了一般类的Lipschitz连续奖励函数，可以统一一些主动学习/传感和贝叶斯优化标准，并提供从业者一些灵活性，以指定他们所需的选择，定义新的任务/问题。特别是，它利用了一个原则性的贝叶斯顺序决策问题的框架，共同和自然优化的勘探开发权衡。一般来说，由于候选观测的不可数集合，所得到的诱导GPP策略不能精确地导出。因此，我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP（ε-GPP）的政策。为了实时规划，我们进一步提出了一个渐进最优的，分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性，它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
Fantasizing with Dual GPs in Bayesian Optimization and Active Learning
Aalto University（阿尔托大学）
高斯过程（GP）是用于序列建模的主要替代函数，如贝叶斯优化和主动学习。它们的缺点是数据缩放能力差，并且在使用非高斯似然时需要运行优化循环。在本文中，我们专注于“幻想”批量采集功能，需要的能力条件下，新的幻想数据计算效率。通过使用稀疏双GP参数化，我们获得了线性缩放批量大小以及非高斯似然的一步更新，从而将稀疏模型扩展到贪婪批量幻想采集函数。
2022-11-02 cs.LG stat.ML
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge（剑桥大学）
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法，但迄今为止的研究都集中在平均准确度作为主要指标。然而，要用模型取代昂贵的关键任务实验，高平均精度是不够的：离群值可能会破坏发现活动，因此模型需要可靠地预测何时会失败，即使训练数据有偏差;实验是昂贵的，因此模型需要数据高效，并使用主动学习建议信息丰富的训练集。我们表明，不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样，以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离，在低数据限制下保持不确定性估计的准确性，并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
Fast Posterior Estimation of Cardiac Electrophysiological Model Parameters via Bayesian Active Learning
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
心脏电生理模型参数的概率估计是模型个性化和不确定量化的重要一步。然而，与这些模型模拟相关联的昂贵的计算使得模型参数的后验概率密度函数（pdf）的直接马尔可夫链蒙特卡罗（MCMC）采样计算密集。另一方面，用计算效率高的替代品替换模拟模型所得到的近似后验概率密度函数的准确性有限。本文提出了一种贝叶斯主动学习方法来直接逼近心脏模型参数的后验概率密度函数，该方法智能地选择训练点查询仿真模型，以便使用少量样本学习后验概率密度函数。我们将生成模型集成到贝叶斯主动学习中，以允许在心脏网格的分辨率下近似高维模型参数的后验pdf。我们进一步引入新的采集函数，将训练点的选择集中在更好地近似形状上，而不是感兴趣的后验pdf的模式。我们评估了所提出的方法估计组织兴奋性的三维心脏电生理模型在一系列的合成和真实数据的实验。我们证明了其改进的精度相比，贝叶斯主动学习使用定期采集功能，并大大降低了计算成本相比，现有的标准或加速MCMC采样的后验概率密度函数。
2021-10-13 cs.LG
Bayesian Optimal Active Search and Surveying
Carnegie Mellon University（卡内基梅隆大学）；Uppsala Universitet（乌普萨拉大学）
我们考虑两个积极的二进制分类问题与非典型目标。在第一个主动搜索中，我们的目标是主动发现尽可能多的给定类的成员。在第二个主动调查中，我们的目标是主动查询点，以最终预测给定类的比例。许多现实世界中的问题都可以用这些术语来描述，在任何一种情况下，典型的基于模型的问题，如泛化误差都只是次要的。我们通过贝叶斯决策理论来解决这些问题，在选择自然效用函数后，我们得到最优策略。我们提供三项贡献。除了引入主动测量问题，我们扩展了以前的工作，主动搜索在两个方面。首先，我们证明了一个新的理论结果，少近视近似的最优策略可以优于任何程度的近视近似。然后，我们推导出的界限，对于某些模型，使我们能够减少（在实践中显着）的指数搜索空间所需的一个天真的实施的最佳政策，使进一步的前瞻，同时仍然确保最佳决策总是。
2012-06-27 cs.LG stat.ML
Active Learning and Bayesian Optimization: a Unified Perspective to Learn with a Goal
Politecnico di Torino（都灵理工大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出统一视角，将贝叶斯优化与主动学习形式化为由共同原则驱动的共生自适应采样方法，并通过准则映射、通用分类及基准实验揭示两者协同作用与适用边界。
2024-07-07 cs.LG stat.ML
BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning
University of Oxford（牛津大学）
我们开发了BatchBALD，这是一批点和模型参数之间的互信息的一种易于处理的近似，我们将其用作采集函数，以联合选择多个信息点，用于深度贝叶斯主动学习的任务。BatchBALD是一个贪婪的线性时间$1 - \frac{1}{e}$近似算法，适合于动态规划和高效缓存。我们将BatchBALD与常用的批量数据采集方法进行比较，发现当前方法采集相似和冗余点，有时比随机采集数据的性能更差。最后，我们表明，使用BatchBALD考虑在一个收购批次的依赖关系，我们实现了新的国家的最先进的性能标准的基准测试，提供大量的数据效率提高批量收购。
2019-10-28 cs.LG stat.ML
Optimal experimental design via Bayesian optimization: active causal structure learning for Gaussian process networks
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Amazon（亚马逊）；The Alan Turing Institute（艾伦·图灵研究所）
我们通过有针对性的干预措施来研究因果发现的问题。从几个观测测量开始，我们遵循贝叶斯主动学习方法来执行这些实验，这些实验在当前模型的预期中，最大限度地提供有关潜在因果结构的信息。与以前的工作不同，我们考虑设置连续随机变量与非线性函数关系，建模与高斯过程先验。为了解决所产生的问题，选择从一个不可数的一组可能的干预措施，我们建议使用贝叶斯优化，有效地最大限度地提高预期的信息增益的蒙特卡罗估计。
2019-10-09 cs.LG stat.ML
Branching Time Active Inference with Bayesian Filtering
University of Kent（肯特大学）；University of Birmingham（伯明翰大学）
分支时间主动推理（Champion等人，2021 b，a）是一个框架，建议将规划视为贝叶斯模型扩展的一种形式。其根源可以在Active Inference（Friston et al.，2016; Da Costa等人，2020; Champion等人，2021 c），一种广泛用于大脑建模的神经科学框架，以及蒙特卡罗树搜索（Browne et al.，2012），这是一种广泛应用于强化学习文献中的方法。到目前为止，潜变量的推断是通过利用变分消息传递（Winn和Bishop，2005）提供的灵活性来进行的，这是一个迭代过程，可以理解为沿着因子图的边缘发送消息（Forney，2001）。在本文中，我们利用了一种称为贝叶斯过滤（Fox et al.，2003），它不需要迭代的更新方程，直到收敛的变分自由能。相反，该方案在两个阶段之间交替：整合证据和预测未来状态。这两个阶段都可以有效地执行，这提供了超过现有技术的70倍的速度。
2021-12-14 cs.LG
Bayesian Active Learning in the Presence of Nuisance Parameters
Department of Computer Science University of Manchester（计算机科学系曼彻斯特大学）；Department of Computer Science Aalto University（计算机科学系阿尔托大学）；Inserm Bordeaux Population Health, Vaccine Research Institute Université de Bordeaux Inria Bordeaux Sud-ouest（Inserm波尔多流行病与疫苗研究研究所波尔多大学Inria波尔多南西部）
本文研究存在冗余参数时贝叶斯主动学习中的负干扰问题，揭示其严重性及准确估计冗余参数的必要性，并阐明目标参数与冗余参数估计之间的预算分配困境及其对负迁移现象的启示。
2024-06-10 cs.LG stat.ML
Disentangled Multi-Fidelity Deep Bayesian Active Learning
University of California San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
针对多保真度主动学习中高维扩展性差及低保真度误差向高保真度传播的问题，提出D-MFDAL框架，通过以多保真度函数分布为条件学习解耦代理模型，并在偏微分方程与流体模拟基准上提升了精度和样本效率。
2023-06-05 cs.LG
Bayesian Pool-based Active Learning With Abstention Feedbacks
我们研究了基于池的主动学习与回避反馈，其中一个标签可以放弃标记查询的例子与一些未知的回避率。这是许多有用应用的重要问题。我们采取贝叶斯方法来解决这个问题，并开发了两个新的贪婪算法，同时学习分类问题和未知的拦截率。这些是通过简单地将估计的预测率纳入贪婪准则来实现的。我们证明了我们的两种算法都具有近最优性保证：它们分别实现了有用效用函数的最佳期望值或最坏情况值的${(1-\frac{1}{e})}$常数因子逼近。实验结果表明，该算法在各种实际场景中表现良好。
2021-01-03 cs.LG stat.ML
Bayesian Active Distance Metric Learning
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Intel Research Pittsburgh（英特尔匹兹堡研究院）
距离度量学习是许多任务的重要组成部分，例如统计分类和基于内容的图像检索。用于从成对约束学习距离度量的现有方法通常遭受两个主要问题。首先，大多数算法只提供距离度量的点估计，因此当训练样本的数量很小时是不可靠的。其次，由于这些算法通常随机选择它们的训练样本，如果标记工作有限，它们可能是低效的。本文提出了一个贝叶斯框架的距离度量学习，估计后验分布的距离度量标记成对约束。我们描述了一个有效的算法的基础上提出的贝叶斯方法的变分方法。此外，我们将所提出的贝叶斯框架，主动距离度量学习，选择那些未标记的例子对最大的不确定性，在相对距离。分类实验表明，该框架实现了更高的分类精度和识别更多的信息训练样本比非贝叶斯方法和国家的最先进的距离度量学习算法。
2012-06-20 cs.LG stat.ML
ConBatch-BAL: Batch Bayesian Active Learning under Budget Constraints
Delft University of Technology（代尔夫特理工大学）
本文提出两种预算约束下的批量贝叶斯主动学习策略ConBatch-BAL，通过动态阈值或贪心选择样本，并发布两个地理定位航拍图像数据集，实验证明其能减少迭代次数和获取成本。
2025-07-07 cs.CV cs.LG
Deep Ensemble Bayesian Active Learning : Addressing the Mode Collapse issue in Monte Carlo dropout via Ensembles
The University of Edinburgh（爱丁堡大学）
在图像分类任务中，深度CNN处理复杂图像数据的能力已被证明是无与伦比的。然而，它们需要大量标记的训练数据来充分发挥其潜力。在医疗保健等专业领域，获取标记数据可能很困难且成本高昂。主动学习旨在通过减少特定任务所需的标记数据量，同时提供令人满意的性能来缓解这个问题。我们提出了DEBAL，这是一种为深度神经网络设计的新的主动学习策略。该方法改进了当前最先进的深度贝叶斯主动学习方法，该方法遭受模式坍塌问题。我们纠正这一不足，利用模型合奏的表达能力和统计特性。我们提出的方法设法捕捉卓越的数据不确定性，这转化为改进的分类性能。我们根据经验证明，我们的集成方法可以更快地收敛在MNIST和CIFAR-10数据集上训练的CNN。
2018-11-09 cs.LG stat.ML
Deep Bayesian Active Learning for Natural Language Processing: Results of a Large-Scale Empirical Study
Carnegie Mellon University（卡内基梅隆大学）
最近的几篇论文研究了主动学习（AL），以减轻深度学习对自然语言处理的数据依赖。然而，AL的适用性，以现实世界的问题仍然是一个悬而未决的问题。虽然在监督学习中，实践者可以尝试许多不同的方法，在选择模型之前对每个方法进行验证，但AL没有这样的奢侈。在一次AL运行过程中，代理注释其数据集，耗尽其标记预算。因此，给定一个新的任务，主动学习者没有机会比较模型和习得功能。本文提供了深度主动学习的大规模实证研究，解决了多个任务，每个任务都有多个数据集，多个模型和一整套采集功能。我们发现，在所有设置中，贝叶斯主动学习的分歧，使用不确定性估计提供的辍学或贝叶斯Backprop显着提高了i.i.d.通常优于经典的不确定性抽样。
2018-09-24 cs.CL cs.LG stat.ML
Toward Optimal Probabilistic Active Learning Using a Bayesian Approach
University of Kassel（卡塞尔大学）；Utrecht University（乌得勒支大学）
收集标记数据以训练性能良好的机器学习模型是许多应用中的关键挑战之一。主动学习旨在通过高效和有效地分配昂贵的标签资源来降低标签成本。在这篇文章中，我们提出了一个决策理论的选择策略，（1）直接优化误分类误差的增益，（2）使用贝叶斯方法，通过引入共轭先验分布来确定类后验来处理不确定性。通过在我们提出的模型中重新制定现有的选择策略，我们可以解释哪些方面在当前最先进的技术中没有涵盖，以及为什么这会导致我们的方法具有优异的性能。大量的各种数据集和不同的内核上的实验验证了我们的主张。
2020-06-02 cs.LG stat.ML
Accelerating Psychometric Screening Tests With Bayesian Active Differential Selection
Washington University in St. Louis（圣路易斯华盛顿大学）；SigOpt（SigOpt公司）
经典的心理测量函数估计方法要么需要过多的测量，要么只产生目标心理测量函数的低分辨率近似。在本文中，我们提出了一种新的解决方案，用于快速筛选给定患者的心理测量功能估计的变化。我们使用贝叶斯主动模型选择来执行自动纯音听力图测试，目标是快速发现当前听力图是否与以前的听力图不同。我们验证我们的方法使用听力数据从国家职业安全与健康研究所NIOSH。初步结果表明，用几个音调，我们可以检测到患者的听力功能是否在两个测试会话之间发生了变化，并且具有很高的置信度。
2020-02-04 cs.LG stat.ML
Unifying Approaches in Active Learning and Active Sampling via Fisher Information and Information-Theoretic Quantities
University of Oxford（牛津大学）
最近提出的数据子集选择方法，即主动学习和主动采样，使用Fisher信息，Hessians，基于梯度的相似性矩阵和梯度长度来估计数据对于模型训练的信息量。这些不同的方法是否有联系，如果有，是如何联系的？我们重新审视贝叶斯最优实验设计的基本原理，并表明这些最近提出的方法可以被理解为近似的信息理论量：其中，预测和模型参数之间的互信息，称为预期信息增益或BALD在机器学习，和收购候选人和测试样本的预测之间的互信息，称为预期预测信息增益。我们开发了一套全面的近似使用Fisher信息和观察到的信息，并得出一个统一的框架，连接看似不同的文献。虽然贝叶斯方法通常被视为独立于非贝叶斯方法，但在各种非贝叶斯目标中表达的有时模糊的“信息量”概念导致了相同的信息量，原则上，Lindley（1956）和MacKay（1992）已经知道了。
2022-11-06 cs.AI cs.IR cs.IT
Bayesian Active Learning With Abstention Feedbacks
Amazon Web Services（亚马逊云科技）；Dalhousie University（达尔豪斯大学）；Alibaba Inc.（阿里巴巴集团）；University of Delaware（特拉华大学）；AISIA Research Lab（AISIA研究实验室）；University of Science（理学院）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
我们研究了基于池的主动学习与回避反馈，其中一个标签可以放弃标记查询的例子与一些未知的回避率。这是许多有用应用的重要问题。我们采用贝叶斯方法来解决这个问题，并开发了两个新的贪心算法，同时学习分类问题和未知的捕获率。这些是通过简单地将估计的平均捕获率纳入贪婪准则来实现的。我们证明了这两种算法有近最优性保证：他们分别实现了一个${(1-\frac{1}{e})}$常数因子近似的最佳期望值或最坏情况下的有用的效用函数。实验结果表明，该算法在各种实际场景中表现良好。
2020-12-30 cs.AI cs.LG math.OC
Bayesian Generative Active Deep Learning
University of Adelaide（阿德莱德大学）；University of Liverpool（利物浦大学）
深度学习模型在几个问题上表现出了出色的性能，但它们的训练过程往往需要大量的计算和人力资源来进行训练和标记，从而限制了可以解决的问题类型。因此，设计有效的训练方法，需要小标记的训练集是一个重要的研究方向，将允许更有效地利用资源。在目前的方法，旨在解决这个问题，两个特别有趣的：数据增强和主动学习。数据增强通过人工生成新的训练点来实现这一目标，而主动学习则依赖于选择未标记训练样本的“信息量最大”子集来由oracle标记。虽然在实践中是成功的，但数据增强可能会浪费计算资源，因为它不加区别地生成不能保证是信息性的样本，并且主动学习（从大的未注释集合中）选择可能不足以用于训练过程的信息性样本的小子集。在本文中，我们提出了一种贝叶斯生成主动深度学习方法，将主动学习与数据增强相结合-我们提供了理论和经验证据（MNIST，CIFAR- $\{10,100\}$和SVHN），证明我们的方法比数据增强和主动学习具有更有效的训练和更好的分类结果。
2019-04-26 cs.LG stat.ML
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出一种混合模型偏好学习框架，通过学习潜在偏好原型而非假设单一效用函数，提升多目标优化中异质性人价值结构的适应性，并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
Active Bayesian Causal Inference
TU Graz（格拉茨技术大学）；ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
因果发现和因果推理通常被视为独立和连续的任务：首先推断因果图，然后使用它来估计干预措施的因果效应。然而，这种两阶段方法是不经济的，特别是在主动收集的介入数据方面，因为感兴趣的因果查询可能不需要完全指定的因果模型。从贝叶斯的角度来看，这也是不自然的，因为因果查询（例如，因果图或某种因果效应）可以被视为经受后验推理的潜在量--不直接感兴趣的其它未观察到的量（例如，完整的因果模型）应该在这个过程中被边缘化，并助长我们认识上的不确定性。在这项工作中，我们提出了主动贝叶斯因果推理（ABCI），一个完整的贝叶斯主动学习框架集成的因果发现和推理，共同推断后的因果模型和查询的兴趣。在我们的方法ABCI，我们专注于类因果充分，非线性加性噪声模型，我们使用高斯过程建模。我们依次设计实验，最大限度地提供有关目标因果查询的信息，收集相应的干预数据，并更新我们的信念以选择下一个实验。通过模拟，我们证明了我们的方法比只专注于学习完整因果图的几个基线更有效。这使我们能够从更少的样本中准确地学习下游因果查询，同时为感兴趣的数量提供校准良好的不确定性估计。
2022-10-15 cs.AI cs.LG stat.ME
Deep Bayesian Active Learning for Accelerating Stochastic Simulation
University of California, San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
本文提出深度贝叶斯主动学习框架INP，通过STNP代理模型与潜在空间采集函数LIG加速随机模拟，并在理论和三类时空仿真器上验证其优势。
2023-06-05 cs.LG stat.ML
