Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Big Batch Bayesian Active Learning by Considering Predictive Probabilities
AstraZeneca（阿斯利康）；University of Bristol（布里斯托尔大学）；Lancaster University（兰卡斯特大学）
针对BatchBALD采集函数混淆两类不确定性导致性能不佳的问题，提出基于仅含认知不确定性的预测概率的批量贝叶斯主动学习采集函数，兼具更优性能与更快评估速度，可支持更大批量。
2025-01-14 cs.LG stat.ML
Bayesian Batch Active Learning as Sparse Subset Approximation
University of Cambridge（剑桥大学）
利用近年来产生的大量未标记数据为改进监督模型提供了巨大的潜力。当获取标签的成本很高时，可以使用概率主动学习方法来选择要标记的信息量最大的数据点。然而，对于许多大规模的问题，标准的贪婪程序在计算上变得不可行，并且遭受可以忽略不计的模型变化。在本文中，我们介绍了一种新的贝叶斯批量主动学习方法，减轻这些问题。我们的方法的动机是近似模型参数的完整数据后验。虽然朴素的批处理构造方法会导致相关查询，但我们的算法会产生不同的批处理，从而实现大规模的有效主动学习。我们推导出类似于现有的线性模型的主动学习程序的可解释的封闭形式的解决方案，并推广到任意模型使用随机投影。我们证明了我们的方法在几个大规模的回归和分类任务的好处。
2021-02-08 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Fantasizing with Dual GPs in Bayesian Optimization and Active Learning
Aalto University（阿尔托大学）
高斯过程（GP）是用于序列建模的主要替代函数，如贝叶斯优化和主动学习。它们的缺点是数据缩放能力差，并且在使用非高斯似然时需要运行优化循环。在本文中，我们专注于“幻想”批量采集功能，需要的能力条件下，新的幻想数据计算效率。通过使用稀疏双GP参数化，我们获得了线性缩放批量大小以及非高斯似然的一步更新，从而将稀疏模型扩展到贪婪批量幻想采集函数。
2022-11-02 cs.LG stat.ML
Bayesian Optimal Active Search and Surveying
Carnegie Mellon University（卡内基梅隆大学）；Uppsala Universitet（乌普萨拉大学）
我们考虑两个积极的二进制分类问题与非典型目标。在第一个主动搜索中，我们的目标是主动发现尽可能多的给定类的成员。在第二个主动调查中，我们的目标是主动查询点，以最终预测给定类的比例。许多现实世界中的问题都可以用这些术语来描述，在任何一种情况下，典型的基于模型的问题，如泛化误差都只是次要的。我们通过贝叶斯决策理论来解决这些问题，在选择自然效用函数后，我们得到最优策略。我们提供三项贡献。除了引入主动测量问题，我们扩展了以前的工作，主动搜索在两个方面。首先，我们证明了一个新的理论结果，少近视近似的最优策略可以优于任何程度的近视近似。然后，我们推导出的界限，对于某些模型，使我们能够减少（在实践中显着）的指数搜索空间所需的一个天真的实施的最佳政策，使进一步的前瞻，同时仍然确保最佳决策总是。
2012-06-27 cs.LG stat.ML
Active Learning and Bayesian Optimization: a Unified Perspective to Learn with a Goal
Politecnico di Torino（都灵理工大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出统一视角，将贝叶斯优化与主动学习形式化为由共同原则驱动的共生自适应采样方法，并通过准则映射、通用分类及基准实验揭示两者协同作用与适用边界。
2024-07-07 cs.LG stat.ML
BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning
University of Oxford（牛津大学）
我们开发了BatchBALD，这是一批点和模型参数之间的互信息的一种易于处理的近似，我们将其用作采集函数，以联合选择多个信息点，用于深度贝叶斯主动学习的任务。BatchBALD是一个贪婪的线性时间$1 - \frac{1}{e}$近似算法，适合于动态规划和高效缓存。我们将BatchBALD与常用的批量数据采集方法进行比较，发现当前方法采集相似和冗余点，有时比随机采集数据的性能更差。最后，我们表明，使用BatchBALD考虑在一个收购批次的依赖关系，我们实现了新的国家的最先进的性能标准的基准测试，提供大量的数据效率提高批量收购。
2019-10-28 cs.LG stat.ML
Bayesian Active Learning in the Presence of Nuisance Parameters
Department of Computer Science University of Manchester（计算机科学系曼彻斯特大学）；Department of Computer Science Aalto University（计算机科学系阿尔托大学）；Inserm Bordeaux Population Health, Vaccine Research Institute Université de Bordeaux Inria Bordeaux Sud-ouest（Inserm波尔多流行病与疫苗研究研究所波尔多大学Inria波尔多南西部）
本文研究存在冗余参数时贝叶斯主动学习中的负干扰问题，揭示其严重性及准确估计冗余参数的必要性，并阐明目标参数与冗余参数估计之间的预算分配困境及其对负迁移现象的启示。
2024-06-10 cs.LG stat.ML
Bayesian Pool-based Active Learning With Abstention Feedbacks
我们研究了基于池的主动学习与回避反馈，其中一个标签可以放弃标记查询的例子与一些未知的回避率。这是许多有用应用的重要问题。我们采取贝叶斯方法来解决这个问题，并开发了两个新的贪婪算法，同时学习分类问题和未知的拦截率。这些是通过简单地将估计的预测率纳入贪婪准则来实现的。我们证明了我们的两种算法都具有近最优性保证：它们分别实现了有用效用函数的最佳期望值或最坏情况值的${(1-\frac{1}{e})}$常数因子逼近。实验结果表明，该算法在各种实际场景中表现良好。
2021-01-03 cs.LG stat.ML
Bayesian Active Distance Metric Learning
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Intel Research Pittsburgh（英特尔匹兹堡研究院）
距离度量学习是许多任务的重要组成部分，例如统计分类和基于内容的图像检索。用于从成对约束学习距离度量的现有方法通常遭受两个主要问题。首先，大多数算法只提供距离度量的点估计，因此当训练样本的数量很小时是不可靠的。其次，由于这些算法通常随机选择它们的训练样本，如果标记工作有限，它们可能是低效的。本文提出了一个贝叶斯框架的距离度量学习，估计后验分布的距离度量标记成对约束。我们描述了一个有效的算法的基础上提出的贝叶斯方法的变分方法。此外，我们将所提出的贝叶斯框架，主动距离度量学习，选择那些未标记的例子对最大的不确定性，在相对距离。分类实验表明，该框架实现了更高的分类精度和识别更多的信息训练样本比非贝叶斯方法和国家的最先进的距离度量学习算法。
2012-06-20 cs.LG stat.ML
Toward Optimal Probabilistic Active Learning Using a Bayesian Approach
University of Kassel（卡塞尔大学）；Utrecht University（乌得勒支大学）
收集标记数据以训练性能良好的机器学习模型是许多应用中的关键挑战之一。主动学习旨在通过高效和有效地分配昂贵的标签资源来降低标签成本。在这篇文章中，我们提出了一个决策理论的选择策略，（1）直接优化误分类误差的增益，（2）使用贝叶斯方法，通过引入共轭先验分布来确定类后验来处理不确定性。通过在我们提出的模型中重新制定现有的选择策略，我们可以解释哪些方面在当前最先进的技术中没有涵盖，以及为什么这会导致我们的方法具有优异的性能。大量的各种数据集和不同的内核上的实验验证了我们的主张。
2020-06-02 cs.LG stat.ML
Accelerating Psychometric Screening Tests With Bayesian Active Differential Selection
Washington University in St. Louis（圣路易斯华盛顿大学）；SigOpt（SigOpt公司）
经典的心理测量函数估计方法要么需要过多的测量，要么只产生目标心理测量函数的低分辨率近似。在本文中，我们提出了一种新的解决方案，用于快速筛选给定患者的心理测量功能估计的变化。我们使用贝叶斯主动模型选择来执行自动纯音听力图测试，目标是快速发现当前听力图是否与以前的听力图不同。我们验证我们的方法使用听力数据从国家职业安全与健康研究所NIOSH。初步结果表明，用几个音调，我们可以检测到患者的听力功能是否在两个测试会话之间发生了变化，并且具有很高的置信度。
2020-02-04 cs.LG stat.ML
Goal-Oriented Sequential Bayesian Experimental Design for Causal Learning
Department of Computer Science and Engineering（计算机科学与工程系）；Department of Mechanical Engineering（机械工程系）；Gilbert S. Omenn Department of Computational Medicine and Bioinformatics（Gilbert S. Omenn 计算医学与生物信息学部门）
提出GO-CBED框架，通过基于transformer和归一化流的变分下界估计器最大化预期信息增益，实现面向目标、非短视的序贯因果实验设计，在有限预算和复杂机制下优于基线。
2026-11-05 cs.AI cs.LG stat.ME
Bayesian Generative Active Deep Learning
University of Adelaide（阿德莱德大学）；University of Liverpool（利物浦大学）
深度学习模型在几个问题上表现出了出色的性能，但它们的训练过程往往需要大量的计算和人力资源来进行训练和标记，从而限制了可以解决的问题类型。因此，设计有效的训练方法，需要小标记的训练集是一个重要的研究方向，将允许更有效地利用资源。在目前的方法，旨在解决这个问题，两个特别有趣的：数据增强和主动学习。数据增强通过人工生成新的训练点来实现这一目标，而主动学习则依赖于选择未标记训练样本的“信息量最大”子集来由oracle标记。虽然在实践中是成功的，但数据增强可能会浪费计算资源，因为它不加区别地生成不能保证是信息性的样本，并且主动学习（从大的未注释集合中）选择可能不足以用于训练过程的信息性样本的小子集。在本文中，我们提出了一种贝叶斯生成主动深度学习方法，将主动学习与数据增强相结合-我们提供了理论和经验证据（MNIST，CIFAR- $\{10,100\}$和SVHN），证明我们的方法比数据增强和主动学习具有更有效的训练和更好的分类结果。
2019-04-26 cs.LG stat.ML
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出一种混合模型偏好学习框架，通过学习潜在偏好原型而非假设单一效用函数，提升多目标优化中异质性人价值结构的适应性，并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
Deep Bayesian Active Learning for Accelerating Stochastic Simulation
University of California, San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
本文提出深度贝叶斯主动学习框架INP，通过STNP代理模型与潜在空间采集函数LIG加速随机模拟，并在理论和三类时空仿真器上验证其优势。
2023-06-05 cs.LG stat.ML
Active Structure Learning of Bayesian Networks in an Observational Setting
Ben-Gurion Univesity of the Negev（内盖夫本-古里安大学）
我们研究了贝叶斯网络的主动结构学习在一个观察的设置，其中有外部限制的变量值的数量，可以从相同的样本。从网络变量的联合分布中抽取随机样本，并且算法迭代地选择在下一个样本中观察哪些变量。我们提出了一种新的主动学习算法，这种设置，发现一个高概率的结构与分数是$ε$ -接近最佳分数。我们表明，对于一类分布，我们长期稳定，样本复杂性降低到一个因素的$\widetildeΩ(d^3)$，可以得到，其中$d$是网络变量的数量。我们进一步表明，在最坏的情况下，样本复杂性的主动算法是保证几乎相同的一个天真的基线算法。为了补充理论结果，我们报告的实验，比较新的主动算法的性能，天真的基线，并证明样本复杂度的改善。在https://github.com/noabdavid/activeBNSL上提供了算法和实验的代码。
2022-07-17 cs.LG stat.ML
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology（佐治亚理工学院）
本文提出ParBaLS方法，用于改进EPIG算法在大规模批量中的性能，通过实验验证其在固定预算下优于其他方法，适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
Scalable Batch Acquisition for Deep Bayesian Active Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Technology Innovation Institute（技术创新研究院）
在深度主动学习中，在每一步选择多个示例进行标记以高效工作尤其重要，尤其是在大型数据集上。与此同时，在贝叶斯设置，如BatchBALD，这个问题的现有解决方案，在选择大量的例子，与计算联合随机变量的互信息的指数复杂性有很大的局限性。因此，我们提出了大型BatchBALD算法，它提供了一个良好的基础近似的BatchBALD方法，旨在实现可比的质量，同时更计算效率。我们提供了该算法的复杂性分析，显示计算时间的减少，特别是对于大批量。此外，我们提出了一套广泛的实验结果的图像和文本数据，无论是玩具数据集和较大的，如CIFAR-100。
2023-02-16 cs.LG stat.ML
Active Bayesian Optimization: Minimizing Minimizer Entropy
Center for Perceptual Systems（感知系统中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
优化的最终目标是找到目标函数的最小值，然而，典型的主动优化准则往往忽略了最小值的不确定性。提出了一种新的全局优化准则和一种基于高斯过程的序贯主动学习策略，该准则是函数极小值的后验分布的不确定性的减小.它还可以灵活地合并多个全局极小化器。我们实现了一个易于处理的近似的标准，并证明了它获得的全局最小值准确相比，传统的贝叶斯优化标准。
2012-02-09 cs.LG stat.ME stat.ML
Episode-Based Active Learning with Bayesian Neural Networks
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
我们研究了使用贝叶斯深度神经网络进行主动学习的不同策略。我们的分析集中在新的，未标记的数据是偶然获得的情况下，如在移动机器人应用中常见的。对CIFAR-10数据集的不同采集、更新和最终训练策略的评估表明，在累积采集集上进行最终训练的增量网络更新对于获得最佳性能至关重要，同时限制了所需的人工标记劳动量。
2017-03-21 cs.CV cs.LG stat.ML
Cost-effective Reduced-Order Modeling via Bayesian Active Learning
Texas A&M University（德克萨斯大学）；Brookheaven National Laboratory（布鲁克海文国家实验室）
提出基于贝叶斯本征正交分解的主动学习框架BayPOD-AL，通过不确定性感知有效学习高保真模型的降阶模型，减少数据集构建成本并提升泛化性。
2025-06-27 cs.LG stat.ML
Bayesian Active Learning for Classification and Preference Learning
University of Cambridge（剑桥大学）
信息论主动学习在概率模型中得到了广泛的研究。对于简单回归，最优近视策略是容易处理的。然而，对于其他任务和更复杂的模型，如非参数模型的分类，最佳解决方案更难计算。目前的方法是通过近似来实现易处理性。我们提出了一种方法，表示信息增益的预测熵，并将此方法应用于高斯过程分类器（GPC）。我们的方法使最小的近似，充分的信息理论的目标。我们的实验性能媲美许多流行的主动学习算法，并具有相同或更低的计算复杂度。我们比较好的决策理论的方法，这是更多的信息，需要更多的计算时间。其次，通过将二进制偏好学习问题转化为分类问题，将算法扩展到高斯过程偏好学习问题。
2011-12-24 cs.LG stat.ML
BLADE: Bayesian Langevin Active Discovery with Replica Exchange for Identification of Complex Systems
Purdue University（普渡大学）；Department of Mathematics, Purdue University（普渡大学数学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
BLADE是一种结合副本交换随机梯度拉格朗日蒙特卡洛与主动学习的贝叶斯框架，通过平衡梯度驱动的探索与利用，在系数空间中提供概率参数估计和原则性不确定性量化，显著提升数据效率。
2026-04-12 cs.LG stat.ML
Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Deep Bayesian Active Learning with Image Data
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
尽管主动学习是机器学习的重要支柱，但深度学习工具在其中并不普遍。深度学习在主动学习环境中使用时会带来一些困难。首先，主动学习（AL）方法通常依赖于能够从少量数据中学习和更新模型。另一方面，深度学习的最新进展因其对大量数据的依赖而臭名昭著。其次，许多AL获取功能依赖于模型不确定性，但深度学习方法很少表示这种模型不确定性。在本文中，我们以实用的方式将贝叶斯深度学习的最新进展结合到主动学习框架中。我们开发了一个主动学习框架，高维数据，一个任务，这是非常具有挑战性的，到目前为止，非常稀疏的现有文献。利用专门的模型，如贝叶斯卷积神经网络，我们展示了我们的主动学习技术与图像数据，获得显着改善现有的主动学习方法。我们在MNIST数据集以及来自病变图像的皮肤癌诊断（ISIC 2016任务）上证明了这一点。
2017-03-08 cs.CV cs.LG stat.ML
Bayesian Active Learning for Wearable Stress and Affect Detection
Solarillion Foundation（Solarillion基金会）；Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）
近年来，人们越来越多地观察到人类的心理压力，早期发现对预防健康风险至关重要。由于普适计算的进步，使用设备上深度学习算法的压力检测一直在上升。然而，需要解决的一个重要挑战是通过合适的地面实况技术（如主动学习）实时处理未标记的数据，这应该有助于建立情感状态（标签），同时只选择最具信息量的数据点从Oracle查询。在本文中，我们提出了一个框架的能力，代表模型的不确定性，通过近似贝叶斯神经网络使用蒙特卡洛（MC）辍学。这与用于主动学习的合适的采集功能相结合。在Raspberry Pi 2上进行的流行压力和影响检测数据集的实证结果表明，我们提出的框架在推理过程中实现了相当大的效率提升，在各种采集功能的主动学习过程中获得的池点数量非常少。变异比达到了90.38%的准确率，这与在大约40%的数据上训练时达到的最大测试准确率相当。
2020-12-04 cs.LG stat.ML
ALINE: Joint Amortization for Bayesian Inference and Active Data Acquisition
ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）；Department of Computer Science, University of Helsinki, Finland（芬兰赫尔辛基大学计算机科学系）；Department of Computer Science, University of Manchester, UK（英国曼彻斯特大学计算机科学系）
本研究提出统一框架ALINE，结合Transformer与强化学习，基于自估计信息增益实现主动数据获取与即时贝叶斯推理，可靶向参数或任务优化，在多基准测试中表现优异。
2025-10-21 cs.LG stat.ML
Active Multi-Information Source Bayesian Quadrature
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
贝叶斯求积（Bayesian quadrature，BQ）是一种样本效率高的概率数值方法，用于求解计算成本高的黑箱函数的积分，但目前的主动BQ学习方法只关注被积函数本身作为信息源，不考虑从成本低的相关函数中传递信息.在这里，我们为BQ中的主动学习设置场景，当可变成本的多个相关信息源（在输入和源中）可访问时。例如，当评估被积函数需要运行复杂的模拟时，可以通过以较低的复杂程度和较低的费用进行模拟来近似。我们构建了有意义的成本敏感的多源采集率作为一个扩展，从香草BQ（VBQ）常见的效用函数，并讨论了陷阱，从盲目推广。此外，我们表明，VBQ收购政策是一个角落的情况下，所有考虑成本敏感的收购计划，崩溃到一个单一的退化政策的情况下，一个源和恒定的成本。在概念验证实验中，我们仔细检查了我们的广义获取功能的行为。在一个流行病学模型上，我们证明了主动多源BQ（AMS-BQ）比VBQ更有效地分配预算，以获得更好的积分精度。
2021-02-12 cs.LG stat.ML
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge（剑桥大学）
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法，但迄今为止的研究都集中在平均准确度作为主要指标。然而，要用模型取代昂贵的关键任务实验，高平均精度是不够的：离群值可能会破坏发现活动，因此模型需要可靠地预测何时会失败，即使训练数据有偏差;实验是昂贵的，因此模型需要数据高效，并使用主动学习建议信息丰富的训练集。我们表明，不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样，以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离，在低数据限制下保持不确定性估计的准确性，并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
Active multi-fidelity Bayesian online changepoint detection
Princeton University（普林斯顿大学）；Arm ML Research Lab（Arm机器学习研究实验室）
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署，移动电话或工业传感器等边缘计算环境。在这些情况下，将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如，可以在惯性测量或GPS之间做出决定，以确定运动的变化点。贝叶斯变点检测方法特别有吸引力，因为我们可以表示关于变点的后验不确定性，并对数据保真度做出积极的、成本敏感的决策，以减少这种后验不确定性。此外，通过主动保真切换，总成本可以大大降低，同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法，使成本敏感的决定，收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成，视频和音频数据的框架进行了评估，并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
Goal-Oriented Lower-Tail Calibration of Gaussian Processes for Bayesian Optimization
Univ. Paris-Saclay, CNRS, CentraleSupélec, L2S, Gif-sur-Yvette, France（巴黎萨克雷大学，国家科学研究中心，中央超算实验室，L2S，法国吉夫-sur-伊夫特）
本文研究了在无噪声情况下，针对低于低阈值t的标准高斯过程模型的预测分布进行面向目标的校准，提出了一种后处理方法tcGP，以校准预测分布低于t的部分，并展示了基于此的全局优化算法在设计空间中保持密集性，实验表明相较于标准高斯过程模型和全局校准高斯过程模型，改进了低尾校准和贝叶斯优化性能。
2026-09-11 cs.LG stat.ME stat.ML
Dynamic Exploration-Exploitation Trade-Off in Active Learning Regression with Bayesian Hierarchical Modeling
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
针对主动学习回归中探索与利用权衡难以自适应优化的问题，提出贝叶斯层次方法 BHEEM，并借助近似贝叶斯计算动态采样权衡参数，实验表明其稳定优于纯探索或纯利用策略。
2023-09-30 cs.LG stat.ML
Relaxed Gaussian process interpolation: a goal-oriented approach to Bayesian optimization
Laboratoire National de Métrologie et d’Essais（法国国家计量与测试实验室）；Safran Aircraft Engines（赛峰飞机发动机公司）；L2S（信号与系统实验室）
本文提出了一种放松的高斯过程插值方法，用于改进贝叶斯优化中的预测分布，尤其在平稳性假设不适用时表现更优。
2026-01-12 stat.CO stat.ME stat.ML
Deep Bayesian Active Learning for Natural Language Processing: Results of a Large-Scale Empirical Study
Carnegie Mellon University（卡内基梅隆大学）
最近的几篇论文研究了主动学习（AL），以减轻深度学习对自然语言处理的数据依赖。然而，AL的适用性，以现实世界的问题仍然是一个悬而未决的问题。虽然在监督学习中，实践者可以尝试许多不同的方法，在选择模型之前对每个方法进行验证，但AL没有这样的奢侈。在一次AL运行过程中，代理注释其数据集，耗尽其标记预算。因此，给定一个新的任务，主动学习者没有机会比较模型和习得功能。本文提供了深度主动学习的大规模实证研究，解决了多个任务，每个任务都有多个数据集，多个模型和一整套采集功能。我们发现，在所有设置中，贝叶斯主动学习的分歧，使用不确定性估计提供的辍学或贝叶斯Backprop显着提高了i.i.d.通常优于经典的不确定性抽样。
2018-09-24 cs.CL cs.LG stat.ML
Targeted Active Learning for Bayesian Decision-Making
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在监督学习中，主动学习通常用于获取信息数据点的标签，以样本有效的方式最大限度地提高准确性。然而，当结果用于决策时，例如在个性化医疗或经济学中，最大限度地提高准确性并不是最终目标。我们认为，当连续获取样本时，分离学习和决策是次优的，我们引入了一个主动学习策略，该策略考虑到了线下决策问题。具体来说，我们引入了一种新的主动学习标准，最大限度地提高预期的信息增益的后验分布的最优决策。我们将我们的目标主动学习策略与模拟和真实数据上的现有替代方案进行了比较，并在决策准确性方面表现出更好的性能。
2021-10-20 cs.AI cs.LG stat.ML
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Object-oriented Bayesian networks for a decision support system for antitrust enforcement
Università Roma Tre（罗马第三大学）；Università di Bologna（博洛尼亚大学）
我们研究的经济决策问题的演员是两个公司和反垄断机构，其主要任务是监测和防止公司的潜在的反竞争行为及其对市场的影响。反托拉斯管理局的决策过程是使用贝叶斯网络模型的关系结构和模型的参数估计从管理局本身提供的数据集。一些影响这一决策过程的经济变量也包括在模型中。我们分析了反垄断机构的监督如何影响企业的合作战略。企业的战略建模为一个重复的囚徒困境，使用面向对象的贝叶斯网络。我们展示了如何整合企业的决策过程和外部市场信息，可以用这种方式建模。各种决策方案和战略说明。
2013-12-06 cs.AI stat.AP
A Bayesian Approach toward Active Learning for Collaborative Filtering
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）
协同过滤是利用一组用户的偏好模式来预测项目对活跃用户的效用的有用技术。一般来说，协同过滤的性能取决于活跃用户给出的评级示例的数量。活跃用户给出的评级示例的数量越多，预测的评级就越准确。主动学习提供了一种有效的方法来从活跃用户那里获得最具信息性的评级示例。协同过滤的主动学习以前的工作只考虑了预期的损失函数的基础上估计的模型，这可能是误导时，估计的模型是不准确的。本文进一步考虑了估计模型的后验分布，从而得到更鲁棒的主动学习算法。对电影评分数据集的实证研究表明，当活跃用户的评分数量被限制为很小时，仅基于估计模型的主动学习方法表现不佳，而使用模型分布的主动学习方法获得了更好的性能。
2012-07-11 cs.IR cs.LG stat.ML
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
ActiveHARNet: Towards On-Device Deep Bayesian Active Learning for Human Activity Recognition
Ericsson（爱立信）；University of Southern California（南加州大学）；Ericsson Research（爱立信研究院）
各种医疗保健应用，如辅助生活，跌倒检测等，需要通过人类活动识别（HAR）对用户行为进行建模。由于普适计算的进步，使用基于移动和可穿戴设备的深度学习算法的HAR正在兴起。然而，还有另外两个挑战需要解决：首先，深度学习模型应该支持设备上的增量训练（模型更新）从实时传入的数据点来学习用户随时间的行为，同时也是资源友好的;第二，合适的地面实况调查技术（像主动学习）应该有助于即时建立标签，同时只选择信息量最大的数据点从Oracle查询。因此，在本文中，我们提出了ActiveHARNet，这是一种资源高效的深度集成模型，支持设备上的增量学习和推理，能够通过使用dropout的贝叶斯神经网络中的近似来表示模型不确定性。这与用于主动学习的合适的采集功能相结合。在两个公开的腕戴式HAR和跌倒检测数据集上的实证结果表明，ActiveHARNet在不同用户的推理过程中实现了相当大的效率提升，在两个数据集上进行增量学习期间，使用各种采集功能进行实验，获得的池点数量相当少（至少减少60%），从而证明了部署和增量学习的可行性。
2019-05-31 cs.HC cs.LG stat.ML
Deep Bayesian Active Learning for Preference Modeling in Large Language Models
University of Oxford（牛津大学）
针对大语言模型偏好标注成本高的问题，提出新型贝叶斯主动学习策略BAL-PM，通过兼顾高不确定性样本与提示分布熵减少冗余采集，实验显示其所需标签量较现有方法降低33%-68%。
2024-10-28 cs.CL cs.LG stat.ML
Active pooling design in group testing based on Bayesian posterior prediction
Institute of Statistical Mathematics（统计数学研究所）；The Graduate University for Advanced Science (SOKENDAI)（综合研究大学院大学（SOKENDAI））
在确定人群中的感染患者时，群体测试是减少测试次数和纠正测试错误的有效方法。在分组检测程序中，对从患者采集的样本池进行检测，样本池数量低于患者数量。群体测试的性能在很大程度上取决于池的设计和用于从测试结果推断感染患者的算法。本文在贝叶斯推断的框架下，提出了一种基于预测分布的自适应水池设计方法。所提出的方法执行使用的信念传播算法的结果在更准确地识别感染的患者，相比提前确定的随机池进行的组测试。
2020-08-19 cond-mat.stat-mech cs.LG stat.ML
Active recursive Bayesian inference using Rényi information measures
Northeastern University（东北大学）；University of Pittsburgh（匹兹堡大学）
递归贝叶斯推理（RBI）提供了最佳的贝叶斯潜在变量估计在实时设置与流噪声观测。主动RBI试图有效地选择查询，导致更多信息的观察，以快速减少不确定性，直到做出自信的决定。然而，通常推理和查询机制的最优性目标不是联合选择的。此外，传统的主动查询方法由于误导性的先验信息而错开。受信息论方法的启发，我们提出了一个主动RBI框架，通过Renyi熵和$α$ -发散统一的推理和查询选择步骤。我们还提出了一个新的目标的基础上Renyi熵和它的变化称为动量，鼓励探索误导以前的情况。所提出的主动RBI框架被应用于概率单纯形中的后验变化的轨迹，该概率单纯形提供了具有指定置信度的协调主动查询和决策。在一定的假设下，我们分析表明，所提出的方法优于传统的方法，如互信息，允许选择不太可能的事件。我们目前的经验和实验性能评估的两个应用程序：餐厅推荐和脑机接口（BCI）打字系统。
2021-03-10 cs.IT cs.LG eess.SP
Bayesian Active Meta-Learning for Black-Box Optimization
King’s College London（伦敦国王学院）
数据高效的学习算法在数据汇集昂贵的许多实际应用中是必不可少的，例如，用于在未知传播场景中无线系统的最佳部署。元学习可以通过利用来自一组相关学习任务的数据来解决这个问题，例如，从类似的部署设置。在实践中，可能只有来自相关任务的未标记数据集可用，这需要在用于元学习之前执行昂贵的标记过程。例如，人们可能知道基站在给定区域中的可能位置，但不知道每个部署可实现的性能指标。为了减少元学习所需的标记步骤的数量，本文介绍了一种信息理论的主动任务选择机制，并评估了一个实例的方法贝叶斯优化的黑盒模型。
2022-05-23 cs.IT cs.LG math.IT
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的非近视自适应高斯过程规划（GPP）框架，赋予了一般类的Lipschitz连续奖励函数，可以统一一些主动学习/传感和贝叶斯优化标准，并提供从业者一些灵活性，以指定他们所需的选择，定义新的任务/问题。特别是，它利用了一个原则性的贝叶斯顺序决策问题的框架，共同和自然优化的勘探开发权衡。一般来说，由于候选观测的不可数集合，所得到的诱导GPP策略不能精确地导出。因此，我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP（ε-GPP）的政策。为了实时规划，我们进一步提出了一个渐进最优的，分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性，它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
Bayesian multi-objective optimization for stochastic simulators: an extension of the Pareto Active Learning method
本文主要研究具有高输出方差的随机模拟器的多目标最优化问题，其中输入空间是有限的，目标函数的计算是昂贵的。我们依靠贝叶斯优化算法，它使用概率模型来预测要优化的函数。所提出的方法是一个扩展的Pareto主动学习（PAL）算法估计的Pareto-最优解，使其适用于随机设置。我们将其命名为随机模拟器的帕累托主动学习（Pareto Active Learning for Stochastic Simulators，PALS）。PALS的性能进行了评估，通过一组二维，双目标测试问题的数值实验。与其他基于标量化和随机搜索的方法相比，PALS具有更好的性能。
2022-07-20 math.OC stat.ML
Query Efficient Posterior Estimation in Scientific Experiments via Bayesian Active Learning
在应用统计学研究的学科如天体统计学中，一个常见的问题是估计相关参数的后验分布。通常情况下，这种模型的可能性是通过昂贵的实验来计算的，比如宇宙的宇宙学模拟。在这些研究领域的一个紧迫的挑战是开发的方法，可以估计后几个可能性评估。在本文中，我们研究了在贝叶斯设置的可能性是昂贵的评估时，主动后验估计。用于后验估计的现有技术基于生成代表后验的样本。这种方法不考虑可能性评估方面的效率。为了提高查询效率，我们在主动回归框架中处理后验估计。我们提出了两个近视查询策略来选择在哪里评估的可能性，并使用高斯过程实现它们。通过一系列的合成和真实的例子上的实验，我们证明了我们的方法是显着更查询效率比现有的技术和后验估计的其他算法。
2017-02-03 stat.ML
Compositional Active Inference I: Bayesian Lenses. Statistical Games
我们引入了贝叶斯透镜的概念，描述了精确贝叶斯推理的双向结构，以及统计博弈，形式化了近似推理问题的优化目标。我们证明了贝叶斯反演是根据组合透镜模式进行组合的，并将统计博弈与一些经典的统计概念结合起来，从极大似然估计到广义变分贝叶斯方法。本文是第一个系列奠定了基础的积极推理理论的组成帐户，因此，我们特别注意统计游戏的自由能目标。
2022-06-08 math.CT math.ST nlin.AO
Bayesian Active Learning With Abstention Feedbacks
Amazon Web Services（亚马逊云科技）；Dalhousie University（达尔豪斯大学）；Alibaba Inc.（阿里巴巴集团）；University of Delaware（特拉华大学）；AISIA Research Lab（AISIA研究实验室）；University of Science（理学院）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
我们研究了基于池的主动学习与回避反馈，其中一个标签可以放弃标记查询的例子与一些未知的回避率。这是许多有用应用的重要问题。我们采用贝叶斯方法来解决这个问题，并开发了两个新的贪心算法，同时学习分类问题和未知的捕获率。这些是通过简单地将估计的平均捕获率纳入贪婪准则来实现的。我们证明了这两种算法有近最优性保证：他们分别实现了一个${(1-\frac{1}{e})}$常数因子近似的最佳期望值或最坏情况下的有用的效用函数。实验结果表明，该算法在各种实际场景中表现良好。
2020-12-30 cs.AI cs.LG math.OC
Enhancing Gender Equality Assessment through Object-Oriented Bayesian networks: the European Gender Equality Index Case
National Institute for Public Policy Analysis（国家公共政策分析研究所）；University of Milano-Bicocca（米兰比可卡大学）；University Roma Tre（罗马第三大学）
研究通过引入数据驱动框架，用面向对象贝叶斯网络（OOBNs）对欧洲性别平等指数（GEI）建模，解决其概念和方法局限，增强性别平等评估监测，增加预测维度，以支持政策决策，意大利官方统计应用验证了框架实用性。
2026-07-24 stat.AP
Active Bayesian Causal Inference
TU Graz（格拉茨技术大学）；ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
因果发现和因果推理通常被视为独立和连续的任务：首先推断因果图，然后使用它来估计干预措施的因果效应。然而，这种两阶段方法是不经济的，特别是在主动收集的介入数据方面，因为感兴趣的因果查询可能不需要完全指定的因果模型。从贝叶斯的角度来看，这也是不自然的，因为因果查询（例如，因果图或某种因果效应）可以被视为经受后验推理的潜在量--不直接感兴趣的其它未观察到的量（例如，完整的因果模型）应该在这个过程中被边缘化，并助长我们认识上的不确定性。在这项工作中，我们提出了主动贝叶斯因果推理（ABCI），一个完整的贝叶斯主动学习框架集成的因果发现和推理，共同推断后的因果模型和查询的兴趣。在我们的方法ABCI，我们专注于类因果充分，非线性加性噪声模型，我们使用高斯过程建模。我们依次设计实验，最大限度地提供有关目标因果查询的信息，收集相应的干预数据，并更新我们的信念以选择下一个实验。通过模拟，我们证明了我们的方法比只专注于学习完整因果图的几个基线更有效。这使我们能够从更少的样本中准确地学习下游因果查询，同时为感兴趣的数量提供校准良好的不确定性估计。
2022-10-15 cs.AI cs.LG stat.ME
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型，在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式，表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现，这使得收敛到后验非常快。
2014-01-30 stat.ML
