Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Big Batch Bayesian Active Learning by Considering Predictive Probabilities
AstraZeneca（阿斯利康）；University of Bristol（布里斯托尔大学）；Lancaster University（兰卡斯特大学）
针对BatchBALD采集函数混淆两类不确定性导致性能不佳的问题，提出基于仅含认知不确定性的预测概率的批量贝叶斯主动学习采集函数，兼具更优性能与更快评估速度，可支持更大批量。
2025-01-14 cs.LG stat.ML
Bayesian Batch Active Learning as Sparse Subset Approximation
University of Cambridge（剑桥大学）
利用近年来产生的大量未标记数据为改进监督模型提供了巨大的潜力。当获取标签的成本很高时，可以使用概率主动学习方法来选择要标记的信息量最大的数据点。然而，对于许多大规模的问题，标准的贪婪程序在计算上变得不可行，并且遭受可以忽略不计的模型变化。在本文中，我们介绍了一种新的贝叶斯批量主动学习方法，减轻这些问题。我们的方法的动机是近似模型参数的完整数据后验。虽然朴素的批处理构造方法会导致相关查询，但我们的算法会产生不同的批处理，从而实现大规模的有效主动学习。我们推导出类似于现有的线性模型的主动学习程序的可解释的封闭形式的解决方案，并推广到任意模型使用随机投影。我们证明了我们的方法在几个大规模的回归和分类任务的好处。
2021-02-08 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Fantasizing with Dual GPs in Bayesian Optimization and Active Learning
Aalto University（阿尔托大学）
高斯过程（GP）是用于序列建模的主要替代函数，如贝叶斯优化和主动学习。它们的缺点是数据缩放能力差，并且在使用非高斯似然时需要运行优化循环。在本文中，我们专注于“幻想”批量采集功能，需要的能力条件下，新的幻想数据计算效率。通过使用稀疏双GP参数化，我们获得了线性缩放批量大小以及非高斯似然的一步更新，从而将稀疏模型扩展到贪婪批量幻想采集函数。
2022-11-02 cs.LG stat.ML
Bayesian Optimal Active Search and Surveying
Carnegie Mellon University（卡内基梅隆大学）；Uppsala Universitet（乌普萨拉大学）
我们考虑两个积极的二进制分类问题与非典型目标。在第一个主动搜索中，我们的目标是主动发现尽可能多的给定类的成员。在第二个主动调查中，我们的目标是主动查询点，以最终预测给定类的比例。许多现实世界中的问题都可以用这些术语来描述，在任何一种情况下，典型的基于模型的问题，如泛化误差都只是次要的。我们通过贝叶斯决策理论来解决这些问题，在选择自然效用函数后，我们得到最优策略。我们提供三项贡献。除了引入主动测量问题，我们扩展了以前的工作，主动搜索在两个方面。首先，我们证明了一个新的理论结果，少近视近似的最优策略可以优于任何程度的近视近似。然后，我们推导出的界限，对于某些模型，使我们能够减少（在实践中显着）的指数搜索空间所需的一个天真的实施的最佳政策，使进一步的前瞻，同时仍然确保最佳决策总是。
2012-06-27 cs.LG stat.ML
Active Learning and Bayesian Optimization: a Unified Perspective to Learn with a Goal
Politecnico di Torino（都灵理工大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出统一视角，将贝叶斯优化与主动学习形式化为由共同原则驱动的共生自适应采样方法，并通过准则映射、通用分类及基准实验揭示两者协同作用与适用边界。
2024-07-07 cs.LG stat.ML
BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning
University of Oxford（牛津大学）
我们开发了BatchBALD，这是一批点和模型参数之间的互信息的一种易于处理的近似，我们将其用作采集函数，以联合选择多个信息点，用于深度贝叶斯主动学习的任务。BatchBALD是一个贪婪的线性时间$1 - \frac{1}{e}$近似算法，适合于动态规划和高效缓存。我们将BatchBALD与常用的批量数据采集方法进行比较，发现当前方法采集相似和冗余点，有时比随机采集数据的性能更差。最后，我们表明，使用BatchBALD考虑在一个收购批次的依赖关系，我们实现了新的国家的最先进的性能标准的基准测试，提供大量的数据效率提高批量收购。
2019-10-28 cs.LG stat.ML
Bayesian Active Learning in the Presence of Nuisance Parameters
Department of Computer Science University of Manchester（计算机科学系曼彻斯特大学）；Department of Computer Science Aalto University（计算机科学系阿尔托大学）；Inserm Bordeaux Population Health, Vaccine Research Institute Université de Bordeaux Inria Bordeaux Sud-ouest（Inserm波尔多流行病与疫苗研究研究所波尔多大学Inria波尔多南西部）
本文研究存在冗余参数时贝叶斯主动学习中的负干扰问题，揭示其严重性及准确估计冗余参数的必要性，并阐明目标参数与冗余参数估计之间的预算分配困境及其对负迁移现象的启示。
2024-06-10 cs.LG stat.ML
Bayesian Pool-based Active Learning With Abstention Feedbacks
我们研究了基于池的主动学习与回避反馈，其中一个标签可以放弃标记查询的例子与一些未知的回避率。这是许多有用应用的重要问题。我们采取贝叶斯方法来解决这个问题，并开发了两个新的贪婪算法，同时学习分类问题和未知的拦截率。这些是通过简单地将估计的预测率纳入贪婪准则来实现的。我们证明了我们的两种算法都具有近最优性保证：它们分别实现了有用效用函数的最佳期望值或最坏情况值的${(1-\frac{1}{e})}$常数因子逼近。实验结果表明，该算法在各种实际场景中表现良好。
2021-01-03 cs.LG stat.ML
Bayesian Active Distance Metric Learning
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Intel Research Pittsburgh（英特尔匹兹堡研究院）
距离度量学习是许多任务的重要组成部分，例如统计分类和基于内容的图像检索。用于从成对约束学习距离度量的现有方法通常遭受两个主要问题。首先，大多数算法只提供距离度量的点估计，因此当训练样本的数量很小时是不可靠的。其次，由于这些算法通常随机选择它们的训练样本，如果标记工作有限，它们可能是低效的。本文提出了一个贝叶斯框架的距离度量学习，估计后验分布的距离度量标记成对约束。我们描述了一个有效的算法的基础上提出的贝叶斯方法的变分方法。此外，我们将所提出的贝叶斯框架，主动距离度量学习，选择那些未标记的例子对最大的不确定性，在相对距离。分类实验表明，该框架实现了更高的分类精度和识别更多的信息训练样本比非贝叶斯方法和国家的最先进的距离度量学习算法。
2012-06-20 cs.LG stat.ML
Toward Optimal Probabilistic Active Learning Using a Bayesian Approach
University of Kassel（卡塞尔大学）；Utrecht University（乌得勒支大学）
收集标记数据以训练性能良好的机器学习模型是许多应用中的关键挑战之一。主动学习旨在通过高效和有效地分配昂贵的标签资源来降低标签成本。在这篇文章中，我们提出了一个决策理论的选择策略，（1）直接优化误分类误差的增益，（2）使用贝叶斯方法，通过引入共轭先验分布来确定类后验来处理不确定性。通过在我们提出的模型中重新制定现有的选择策略，我们可以解释哪些方面在当前最先进的技术中没有涵盖，以及为什么这会导致我们的方法具有优异的性能。大量的各种数据集和不同的内核上的实验验证了我们的主张。
2020-06-02 cs.LG stat.ML
Accelerating Psychometric Screening Tests With Bayesian Active Differential Selection
Washington University in St. Louis（圣路易斯华盛顿大学）；SigOpt（SigOpt公司）
经典的心理测量函数估计方法要么需要过多的测量，要么只产生目标心理测量函数的低分辨率近似。在本文中，我们提出了一种新的解决方案，用于快速筛选给定患者的心理测量功能估计的变化。我们使用贝叶斯主动模型选择来执行自动纯音听力图测试，目标是快速发现当前听力图是否与以前的听力图不同。我们验证我们的方法使用听力数据从国家职业安全与健康研究所NIOSH。初步结果表明，用几个音调，我们可以检测到患者的听力功能是否在两个测试会话之间发生了变化，并且具有很高的置信度。
2020-02-04 cs.LG stat.ML
Bayesian Generative Active Deep Learning
University of Adelaide（阿德莱德大学）；University of Liverpool（利物浦大学）
深度学习模型在几个问题上表现出了出色的性能，但它们的训练过程往往需要大量的计算和人力资源来进行训练和标记，从而限制了可以解决的问题类型。因此，设计有效的训练方法，需要小标记的训练集是一个重要的研究方向，将允许更有效地利用资源。在目前的方法，旨在解决这个问题，两个特别有趣的：数据增强和主动学习。数据增强通过人工生成新的训练点来实现这一目标，而主动学习则依赖于选择未标记训练样本的“信息量最大”子集来由oracle标记。虽然在实践中是成功的，但数据增强可能会浪费计算资源，因为它不加区别地生成不能保证是信息性的样本，并且主动学习（从大的未注释集合中）选择可能不足以用于训练过程的信息性样本的小子集。在本文中，我们提出了一种贝叶斯生成主动深度学习方法，将主动学习与数据增强相结合-我们提供了理论和经验证据（MNIST，CIFAR- $\{10,100\}$和SVHN），证明我们的方法比数据增强和主动学习具有更有效的训练和更好的分类结果。
2019-04-26 cs.LG stat.ML
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出一种混合模型偏好学习框架，通过学习潜在偏好原型而非假设单一效用函数，提升多目标优化中异质性人价值结构的适应性，并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology（佐治亚理工学院）
本文提出ParBaLS方法，用于改进EPIG算法在大规模批量中的性能，通过实验验证其在固定预算下优于其他方法，适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
Deep Bayesian Active Learning for Accelerating Stochastic Simulation
University of California, San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
本文提出深度贝叶斯主动学习框架INP，通过STNP代理模型与潜在空间采集函数LIG加速随机模拟，并在理论和三类时空仿真器上验证其优势。
2023-06-05 cs.LG stat.ML
Active Bayesian Optimization: Minimizing Minimizer Entropy
Center for Perceptual Systems（感知系统中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
优化的最终目标是找到目标函数的最小值，然而，典型的主动优化准则往往忽略了最小值的不确定性。提出了一种新的全局优化准则和一种基于高斯过程的序贯主动学习策略，该准则是函数极小值的后验分布的不确定性的减小.它还可以灵活地合并多个全局极小化器。我们实现了一个易于处理的近似的标准，并证明了它获得的全局最小值准确相比，传统的贝叶斯优化标准。
2012-02-09 cs.LG stat.ME stat.ML
Scalable Batch Acquisition for Deep Bayesian Active Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Technology Innovation Institute（技术创新研究院）
在深度主动学习中，在每一步选择多个示例进行标记以高效工作尤其重要，尤其是在大型数据集上。与此同时，在贝叶斯设置，如BatchBALD，这个问题的现有解决方案，在选择大量的例子，与计算联合随机变量的互信息的指数复杂性有很大的局限性。因此，我们提出了大型BatchBALD算法，它提供了一个良好的基础近似的BatchBALD方法，旨在实现可比的质量，同时更计算效率。我们提供了该算法的复杂性分析，显示计算时间的减少，特别是对于大批量。此外，我们提出了一套广泛的实验结果的图像和文本数据，无论是玩具数据集和较大的，如CIFAR-100。
2023-02-16 cs.LG stat.ML
Episode-Based Active Learning with Bayesian Neural Networks
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
我们研究了使用贝叶斯深度神经网络进行主动学习的不同策略。我们的分析集中在新的，未标记的数据是偶然获得的情况下，如在移动机器人应用中常见的。对CIFAR-10数据集的不同采集、更新和最终训练策略的评估表明，在累积采集集上进行最终训练的增量网络更新对于获得最佳性能至关重要，同时限制了所需的人工标记劳动量。
2017-03-21 cs.CV cs.LG stat.ML
Cost-effective Reduced-Order Modeling via Bayesian Active Learning
Texas A&M University（德克萨斯大学）；Brookheaven National Laboratory（布鲁克海文国家实验室）
提出基于贝叶斯本征正交分解的主动学习框架BayPOD-AL，通过不确定性感知有效学习高保真模型的降阶模型，减少数据集构建成本并提升泛化性。
2025-06-27 cs.LG stat.ML
Bayesian Active Learning for Classification and Preference Learning
University of Cambridge（剑桥大学）
信息论主动学习在概率模型中得到了广泛的研究。对于简单回归，最优近视策略是容易处理的。然而，对于其他任务和更复杂的模型，如非参数模型的分类，最佳解决方案更难计算。目前的方法是通过近似来实现易处理性。我们提出了一种方法，表示信息增益的预测熵，并将此方法应用于高斯过程分类器（GPC）。我们的方法使最小的近似，充分的信息理论的目标。我们的实验性能媲美许多流行的主动学习算法，并具有相同或更低的计算复杂度。我们比较好的决策理论的方法，这是更多的信息，需要更多的计算时间。其次，通过将二进制偏好学习问题转化为分类问题，将算法扩展到高斯过程偏好学习问题。
2011-12-24 cs.LG stat.ML
BLADE: Bayesian Langevin Active Discovery with Replica Exchange for Identification of Complex Systems
Purdue University（普渡大学）；Department of Mathematics, Purdue University（普渡大学数学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
BLADE是一种结合副本交换随机梯度拉格朗日蒙特卡洛与主动学习的贝叶斯框架，通过平衡梯度驱动的探索与利用，在系数空间中提供概率参数估计和原则性不确定性量化，显著提升数据效率。
2026-04-12 cs.LG stat.ML
Deep Bayesian Active Learning with Image Data
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
尽管主动学习是机器学习的重要支柱，但深度学习工具在其中并不普遍。深度学习在主动学习环境中使用时会带来一些困难。首先，主动学习（AL）方法通常依赖于能够从少量数据中学习和更新模型。另一方面，深度学习的最新进展因其对大量数据的依赖而臭名昭著。其次，许多AL获取功能依赖于模型不确定性，但深度学习方法很少表示这种模型不确定性。在本文中，我们以实用的方式将贝叶斯深度学习的最新进展结合到主动学习框架中。我们开发了一个主动学习框架，高维数据，一个任务，这是非常具有挑战性的，到目前为止，非常稀疏的现有文献。利用专门的模型，如贝叶斯卷积神经网络，我们展示了我们的主动学习技术与图像数据，获得显着改善现有的主动学习方法。我们在MNIST数据集以及来自病变图像的皮肤癌诊断（ISIC 2016任务）上证明了这一点。
2017-03-08 cs.CV cs.LG stat.ML
Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Bayesian Active Learning for Wearable Stress and Affect Detection
Solarillion Foundation（Solarillion基金会）；Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）
近年来，人们越来越多地观察到人类的心理压力，早期发现对预防健康风险至关重要。由于普适计算的进步，使用设备上深度学习算法的压力检测一直在上升。然而，需要解决的一个重要挑战是通过合适的地面实况技术（如主动学习）实时处理未标记的数据，这应该有助于建立情感状态（标签），同时只选择最具信息量的数据点从Oracle查询。在本文中，我们提出了一个框架的能力，代表模型的不确定性，通过近似贝叶斯神经网络使用蒙特卡洛（MC）辍学。这与用于主动学习的合适的采集功能相结合。在Raspberry Pi 2上进行的流行压力和影响检测数据集的实证结果表明，我们提出的框架在推理过程中实现了相当大的效率提升，在各种采集功能的主动学习过程中获得的池点数量非常少。变异比达到了90.38%的准确率，这与在大约40%的数据上训练时达到的最大测试准确率相当。
2020-12-04 cs.LG stat.ML
ALINE: Joint Amortization for Bayesian Inference and Active Data Acquisition
ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）；Department of Computer Science, University of Helsinki, Finland（芬兰赫尔辛基大学计算机科学系）；Department of Computer Science, University of Manchester, UK（英国曼彻斯特大学计算机科学系）
本研究提出统一框架ALINE，结合Transformer与强化学习，基于自估计信息增益实现主动数据获取与即时贝叶斯推理，可靶向参数或任务优化，在多基准测试中表现优异。
2025-10-21 cs.LG stat.ML
Active Multi-Information Source Bayesian Quadrature
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
贝叶斯求积（Bayesian quadrature，BQ）是一种样本效率高的概率数值方法，用于求解计算成本高的黑箱函数的积分，但目前的主动BQ学习方法只关注被积函数本身作为信息源，不考虑从成本低的相关函数中传递信息.在这里，我们为BQ中的主动学习设置场景，当可变成本的多个相关信息源（在输入和源中）可访问时。例如，当评估被积函数需要运行复杂的模拟时，可以通过以较低的复杂程度和较低的费用进行模拟来近似。我们构建了有意义的成本敏感的多源采集率作为一个扩展，从香草BQ（VBQ）常见的效用函数，并讨论了陷阱，从盲目推广。此外，我们表明，VBQ收购政策是一个角落的情况下，所有考虑成本敏感的收购计划，崩溃到一个单一的退化政策的情况下，一个源和恒定的成本。在概念验证实验中，我们仔细检查了我们的广义获取功能的行为。在一个流行病学模型上，我们证明了主动多源BQ（AMS-BQ）比VBQ更有效地分配预算，以获得更好的积分精度。
2021-02-12 cs.LG stat.ML
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge（剑桥大学）
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法，但迄今为止的研究都集中在平均准确度作为主要指标。然而，要用模型取代昂贵的关键任务实验，高平均精度是不够的：离群值可能会破坏发现活动，因此模型需要可靠地预测何时会失败，即使训练数据有偏差;实验是昂贵的，因此模型需要数据高效，并使用主动学习建议信息丰富的训练集。我们表明，不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样，以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离，在低数据限制下保持不确定性估计的准确性，并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
Active multi-fidelity Bayesian online changepoint detection
Princeton University（普林斯顿大学）；Arm ML Research Lab（Arm机器学习研究实验室）
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署，移动电话或工业传感器等边缘计算环境。在这些情况下，将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如，可以在惯性测量或GPS之间做出决定，以确定运动的变化点。贝叶斯变点检测方法特别有吸引力，因为我们可以表示关于变点的后验不确定性，并对数据保真度做出积极的、成本敏感的决策，以减少这种后验不确定性。此外，通过主动保真切换，总成本可以大大降低，同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法，使成本敏感的决定，收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成，视频和音频数据的框架进行了评估，并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
Constrained Causal Bayesian Optimization
DeepMind（深度思维）
本研究提出约束因果贝叶斯优化方法cCBO，通过图结构与观测数据缩空间、高斯过程建模及约束期望提升采集函数选干预，在人工与真实因果图实验验证其在收敛速度和可行干预占比间的有效权衡。
2023-05-31 cs.LG stat.ML
Dynamic Exploration-Exploitation Trade-Off in Active Learning Regression with Bayesian Hierarchical Modeling
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
针对主动学习回归中探索与利用权衡难以自适应优化的问题，提出贝叶斯层次方法 BHEEM，并借助近似贝叶斯计算动态采样权衡参数，实验表明其稳定优于纯探索或纯利用策略。
2023-09-30 cs.LG stat.ML
Prediction-Oriented Bayesian Active Learning
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
本文提出期望预测信息增益（EPIG）采集函数，通过在预测空间而非参数空间度量信息增益，解决了 BALD 忽略输入分布导致的数据选择次优问题，并在多个数据集和模型上验证了其优于 BALD 的预测性能。
2023-04-17 cs.LG stat.ML
A Bayesian Nonparametric Approach for Estimating Individualized Treatment-Response Curves
Johns Hopkins University（约翰霍普金斯大学）
我们研究的问题，估计随着时间的推移，使用观测时间序列的干预措施的连续反应-一个回顾性的数据集，其中的政策，数据生成是未知的学习者。我们的动机是响应因个人而异的应用程序，因此，在个人层面上估计响应对于个性化决策是有价值的。我们称之为估计个体化治疗反应（ITR）曲线的问题。在统计学中，G计算公式（Robins，1986）通常用于根据包含序贯治疗分配的观察数据估计治疗应答。然而，过去的研究主要集中在获得人口一级的时间点估计数。我们利用G-计算公式，并开发了一种新的贝叶斯非参数（BNP）方法，可以灵活地模拟功能数据，并提供后验推理的治疗反应曲线在个人和群体水平。在一个包含住院患者时间序列的具有挑战性的数据集上，我们估计了对用于管理肾功能的治疗的反应，并表明所得到的拟合比其他方法更准确。从观察数据中获得ITR的准确方法可以大大加快个性化治疗计划的步伐。
2016-12-10 cs.LG stat.ML
Deep Bayesian Active Learning for Natural Language Processing: Results of a Large-Scale Empirical Study
Carnegie Mellon University（卡内基梅隆大学）
最近的几篇论文研究了主动学习（AL），以减轻深度学习对自然语言处理的数据依赖。然而，AL的适用性，以现实世界的问题仍然是一个悬而未决的问题。虽然在监督学习中，实践者可以尝试许多不同的方法，在选择模型之前对每个方法进行验证，但AL没有这样的奢侈。在一次AL运行过程中，代理注释其数据集，耗尽其标记预算。因此，给定一个新的任务，主动学习者没有机会比较模型和习得功能。本文提供了深度主动学习的大规模实证研究，解决了多个任务，每个任务都有多个数据集，多个模型和一整套采集功能。我们发现，在所有设置中，贝叶斯主动学习的分歧，使用不确定性估计提供的辍学或贝叶斯Backprop显着提高了i.i.d.通常优于经典的不确定性抽样。
2018-09-24 cs.CL cs.LG stat.ML
Targeted Active Learning for Bayesian Decision-Making
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在监督学习中，主动学习通常用于获取信息数据点的标签，以样本有效的方式最大限度地提高准确性。然而，当结果用于决策时，例如在个性化医疗或经济学中，最大限度地提高准确性并不是最终目标。我们认为，当连续获取样本时，分离学习和决策是次优的，我们引入了一个主动学习策略，该策略考虑到了线下决策问题。具体来说，我们引入了一种新的主动学习标准，最大限度地提高预期的信息增益的后验分布的最优决策。我们将我们的目标主动学习策略与模拟和真实数据上的现有替代方案进行了比较，并在决策准确性方面表现出更好的性能。
2021-10-20 cs.AI cs.LG stat.ML
Multi-Objective Bayesian Optimization with Active Preference Learning
Nagoya Institute of Technology（名古屋工业大学）；RIKEN AIP（理化学研究所人工智能项目）；Nagoya University（名古屋大学）
针对多目标优化中识别整个Pareto前沿成本过高的问题，提出一种贝叶斯优化方法，通过成对偏好和改进请求交互式估计决策者偏好，并结合主动学习策略以最小化交互成本，从而高效识别最受偏好的解。
2023-11-22 cs.LG stat.ML
Active Learning of Continuous-time Bayesian Networks through Interventions
TU Darmstadt（达姆施塔特工业大学）；The Why Company GmbH
研究了在最小实验资源下，从时间过程数据学习连续时间贝叶斯网络（CTBN）的结构和参数的问题。在实践中，生成实验数据的成本构成了一个瓶颈，特别是在自然科学和社会科学领域。一个流行的方法来克服这一点是贝叶斯最优试验设计（BOED）。然而，BOED在高维环境中变得不可行，因为它涉及所有可能的实验结果的整合。我们提出了一个新的标准试验设计的基础上的预期信息增益的变分近似。我们表明，对于CTBN，这个标准的半解析表达式可以计算结构和参数学习。通过这样做，我们可以通过求解CTBN主方程来取代对实验结果的采样，其中存在可扩展的近似。这增加了在高维中对可能的实验结果进行采样的计算负担。我们采用这个框架，以推荐介入序列。在这种情况下，我们将CTBN模型扩展到有条件的CTBN，以纳入干预措施。我们证明了我们的标准的合成和真实世界的数据的性能。
2021-06-11 cs.LG stat.ML
Group Sparse Bayesian Learning for Active Surveillance on Epidemic Dynamics
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）；Institute of Remote Sensing and Geographical Information Systems, Peking University（北京大学遥感与地理信息系统研究所）
流行病动力学预测对于理解和控制传染病传播和信息传播等扩散过程具有重要价值。这项任务是棘手的，特别是在监视资源非常有限的情况下。为了应对这一挑战，我们研究了主动监视的问题，即，如何将系统组件的一小部分识别为哨兵以实现监测，使得可以从这些哨兵收集的部分数据容易地预测整个系统的流行动态。我们提出了一种新的措施，伽玛值，通过建模的哨兵网络行稀疏结构来识别哨兵。我们设计了一个灵活的组稀疏贝叶斯学习算法挖掘哨兵网络适合处理线性和非线性动力系统，通过使用期望最大化方法和变分逼近。所提出的算法的有效性进行了理论分析和经验验证，使用合成和真实世界的数据。
2017-11-21 cs.LG stat.ML
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London（伦敦大学学院威康人类神经影像中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
主动推理是自由能原理的一个推论，是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中，我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则，在一个单一的命令，以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时，主动推理简化为最优贝叶斯设计，即，信息增益最大化相反，在没有歧义和相对风险的情况下，主动推理简化为贝叶斯决策理论，即，期望效用最大化使用这些限制的情况下，我们说明了如何不同的行为时，代理选择的行动，优化预期的效用，预期的信息增益，和预期的自由能。我们的T型迷宫模拟表明，优化预期的自由能产生目标导向的信息寻求行为，而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
A Bayesian Approach toward Active Learning for Collaborative Filtering
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）
协同过滤是利用一组用户的偏好模式来预测项目对活跃用户的效用的有用技术。一般来说，协同过滤的性能取决于活跃用户给出的评级示例的数量。活跃用户给出的评级示例的数量越多，预测的评级就越准确。主动学习提供了一种有效的方法来从活跃用户那里获得最具信息性的评级示例。协同过滤的主动学习以前的工作只考虑了预期的损失函数的基础上估计的模型，这可能是误导时，估计的模型是不准确的。本文进一步考虑了估计模型的后验分布，从而得到更鲁棒的主动学习算法。对电影评分数据集的实证研究表明，当活跃用户的评分数量被限制为很小时，仅基于估计模型的主动学习方法表现不佳，而使用模型分布的主动学习方法获得了更好的性能。
2012-07-11 cs.IR cs.LG stat.ML
BOBA: Dynamic Bayesian Optimization through Bayesian Active Inference
University College London（伦敦大学学院）
针对动态黑箱优化中现有方法忽视时间变化的问题，提出基于自由能原理的采集函数BOBA，通过最小化未来状态预测不确定性，在查询受限设置中显著降低遗憾值。
2026-09-23 cs.LG
ActiveHARNet: Towards On-Device Deep Bayesian Active Learning for Human Activity Recognition
Ericsson（爱立信）；University of Southern California（南加州大学）；Ericsson Research（爱立信研究院）
各种医疗保健应用，如辅助生活，跌倒检测等，需要通过人类活动识别（HAR）对用户行为进行建模。由于普适计算的进步，使用基于移动和可穿戴设备的深度学习算法的HAR正在兴起。然而，还有另外两个挑战需要解决：首先，深度学习模型应该支持设备上的增量训练（模型更新）从实时传入的数据点来学习用户随时间的行为，同时也是资源友好的;第二，合适的地面实况调查技术（像主动学习）应该有助于即时建立标签，同时只选择信息量最大的数据点从Oracle查询。因此，在本文中，我们提出了ActiveHARNet，这是一种资源高效的深度集成模型，支持设备上的增量学习和推理，能够通过使用dropout的贝叶斯神经网络中的近似来表示模型不确定性。这与用于主动学习的合适的采集功能相结合。在两个公开的腕戴式HAR和跌倒检测数据集上的实证结果表明，ActiveHARNet在不同用户的推理过程中实现了相当大的效率提升，在两个数据集上进行增量学习期间，使用各种采集功能进行实验，获得的池点数量相当少（至少减少60%），从而证明了部署和增量学习的可行性。
2019-05-31 cs.HC cs.LG stat.ML
Causal Queries from Observational Data in Biological Systems via Bayesian Networks: An Empirical Study in Small Networks
生物网络是一种非常方便的建模和可视化工具，可以从现代高通量基因组学和后基因组学数据集中发现知识。事实上，生物实体不是孤立的，而是复杂的多层次系统的组成部分。我们更进一步，主张考虑生命系统中相互作用的因果表示。我们提出因果形式主义，并在数据是观察性的生物网络背景下将其提出。我们还讨论了它的能力，破译因果信息流观察到的基因表达。我们还说明了我们的探索实验小型模拟网络以及一个真正的生物学数据集。
2018-05-04 q-bio.MN q-bio.QM stat.AP
Deep Bayesian Active Learning for Preference Modeling in Large Language Models
University of Oxford（牛津大学）
针对大语言模型偏好标注成本高的问题，提出新型贝叶斯主动学习策略BAL-PM，通过兼顾高不确定性样本与提示分布熵减少冗余采集，实验显示其所需标签量较现有方法降低33%-68%。
2024-10-28 cs.CL cs.LG stat.ML
Active recursive Bayesian inference using Rényi information measures
Northeastern University（东北大学）；University of Pittsburgh（匹兹堡大学）
递归贝叶斯推理（RBI）提供了最佳的贝叶斯潜在变量估计在实时设置与流噪声观测。主动RBI试图有效地选择查询，导致更多信息的观察，以快速减少不确定性，直到做出自信的决定。然而，通常推理和查询机制的最优性目标不是联合选择的。此外，传统的主动查询方法由于误导性的先验信息而错开。受信息论方法的启发，我们提出了一个主动RBI框架，通过Renyi熵和$α$ -发散统一的推理和查询选择步骤。我们还提出了一个新的目标的基础上Renyi熵和它的变化称为动量，鼓励探索误导以前的情况。所提出的主动RBI框架被应用于概率单纯形中的后验变化的轨迹，该概率单纯形提供了具有指定置信度的协调主动查询和决策。在一定的假设下，我们分析表明，所提出的方法优于传统的方法，如互信息，允许选择不太可能的事件。我们目前的经验和实验性能评估的两个应用程序：餐厅推荐和脑机接口（BCI）打字系统。
2021-03-10 cs.IT cs.LG eess.SP
Active pooling design in group testing based on Bayesian posterior prediction
Institute of Statistical Mathematics（统计数学研究所）；The Graduate University for Advanced Science (SOKENDAI)（综合研究大学院大学（SOKENDAI））
在确定人群中的感染患者时，群体测试是减少测试次数和纠正测试错误的有效方法。在分组检测程序中，对从患者采集的样本池进行检测，样本池数量低于患者数量。群体测试的性能在很大程度上取决于池的设计和用于从测试结果推断感染患者的算法。本文在贝叶斯推断的框架下，提出了一种基于预测分布的自适应水池设计方法。所提出的方法执行使用的信念传播算法的结果在更准确地识别感染的患者，相比提前确定的随机池进行的组测试。
2020-08-19 cond-mat.stat-mech cs.LG stat.ML
Estimating Bayesian Optimal Treatment Regimes for Dichotomous Outcomes using Observational Data
最佳治疗方案（OTR）是个体化治疗分配策略，在给定个体所有可用背景信息的情况下，将医学治疗确定为最佳。我们讨论贝叶斯最优治疗方案估计使用的损失函数定义的二元分布的二分潜在的结果。所提出的方法允许考虑OTR的比预期结果的最大化更一般的目标（例如，生存概率），例如考虑不必要的治疗负担。作为一个激励性的例子，我们考虑口咽癌治疗的情况下，由于化疗不必要的负担是要避免，同时最大限度地提高生存机会。假设可验证的治疗分配，我们描述了关于OTR的贝叶斯推断，包括对潜在结局未观察到的部分相关性的敏感性分析。我们评估的方法，应用贝叶斯参数和更灵活的非参数结果模型的模拟。拟议的口咽癌OTR将更繁重的化疗分配频率降低了约75%，而不会降低平均生存概率。因此，该方案大大提高了患者的预期生活质量。
2018-09-28 stat.ME stat.ML
Bayesian Active Meta-Learning for Black-Box Optimization
King’s College London（伦敦国王学院）
数据高效的学习算法在数据汇集昂贵的许多实际应用中是必不可少的，例如，用于在未知传播场景中无线系统的最佳部署。元学习可以通过利用来自一组相关学习任务的数据来解决这个问题，例如，从类似的部署设置。在实践中，可能只有来自相关任务的未标记数据集可用，这需要在用于元学习之前执行昂贵的标记过程。例如，人们可能知道基站在给定区域中的可能位置，但不知道每个部署可实现的性能指标。为了减少元学习所需的标记步骤的数量，本文介绍了一种信息理论的主动任务选择机制，并评估了一个实例的方法贝叶斯优化的黑盒模型。
2022-05-23 cs.IT cs.LG math.IT
Bayesian multi-objective optimization for stochastic simulators: an extension of the Pareto Active Learning method
本文主要研究具有高输出方差的随机模拟器的多目标最优化问题，其中输入空间是有限的，目标函数的计算是昂贵的。我们依靠贝叶斯优化算法，它使用概率模型来预测要优化的函数。所提出的方法是一个扩展的Pareto主动学习（PAL）算法估计的Pareto-最优解，使其适用于随机设置。我们将其命名为随机模拟器的帕累托主动学习（Pareto Active Learning for Stochastic Simulators，PALS）。PALS的性能进行了评估，通过一组二维，双目标测试问题的数值实验。与其他基于标量化和随机搜索的方法相比，PALS具有更好的性能。
2022-07-20 math.OC stat.ML
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的非近视自适应高斯过程规划（GPP）框架，赋予了一般类的Lipschitz连续奖励函数，可以统一一些主动学习/传感和贝叶斯优化标准，并提供从业者一些灵活性，以指定他们所需的选择，定义新的任务/问题。特别是，它利用了一个原则性的贝叶斯顺序决策问题的框架，共同和自然优化的勘探开发权衡。一般来说，由于候选观测的不可数集合，所得到的诱导GPP策略不能精确地导出。因此，我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP（ε-GPP）的政策。为了实时规划，我们进一步提出了一个渐进最优的，分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性，它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
A Bayesian approach to comparing theoretic models to observational data: A case study from solar flare physics
太阳耀斑是太阳大气中大规模的能量释放，其特征是从光球层到日冕的等离子体的流体动力学性质的快速变化。太阳物理学家通常试图使用理论模型和观测数据的组合来理解这些复杂的事件。从统计学的角度来看，在理论和观测之间进行准确和统计上显著的比较存在许多挑战，主要是由于与物理模型相关的大量自由参数。这类不适定的统计问题非常适合贝叶斯方法。在本文中，太阳耀斑研究Raftery等人（2009年）使用贝叶斯框架重新分析。这使我们能够研究耀斑的温度，排放措施和能量损失的统计自洽的方式的演变。基于贝叶斯模型的选择技术意味着没有决定可以作出关于导电或非热束加热在加热耀斑等离子体在脉冲阶段的这一事件中发挥最重要的作用。
2012-06-24 astro-ph.SR stat.AP
Compositional Active Inference I: Bayesian Lenses. Statistical Games
我们引入了贝叶斯透镜的概念，描述了精确贝叶斯推理的双向结构，以及统计博弈，形式化了近似推理问题的优化目标。我们证明了贝叶斯反演是根据组合透镜模式进行组合的，并将统计博弈与一些经典的统计概念结合起来，从极大似然估计到广义变分贝叶斯方法。本文是第一个系列奠定了基础的积极推理理论的组成帐户，因此，我们特别注意统计游戏的自由能目标。
2022-06-08 math.CT math.ST nlin.AO
