Evaluating COVID-19 vaccine allocation policies using Bayesian $m$-top exploration
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）；UHasselt（哈塞尔特大学）
本文提出一种结合多臂老虎机与贝叶斯随时 $m$-top 探索的方法，用于在基于个体的流行病学模型中高效评估 COVID-19 疫苗分配策略，以最小化感染和住院人数，并量化决策不确定性。
2025-02-26 cs.AI cs.LG
Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks
Arizona State University（亚利桑那州立大学）
为了评估贝叶斯神经网络在图像分类任务上的鲁棒性增益，我们对最先进的贝叶斯神经网络进行输入扰动和对抗攻击，并以基准CNN模型作为参考。选择这些攻击来模拟对基于CNN的机器学习系统的信号干扰和网络攻击。结果表明，贝叶斯神经网络实现了显着更高的鲁棒性对对抗攻击产生的确定性神经网络模型，没有对抗训练。贝叶斯后验可以作为正在进行的恶意活动的安全前兆。此外，我们表明，确定性CNN提取器后的随机分类器具有足够的鲁棒性增强，而不是随机特征提取器之前的随机分类器。这建议利用随机层在建设决策管道内的安全关键域。
2021-06-17 cs.CV cs.LG
Evaluating Bayesian Model Visualisations
University of Glasgow（格拉斯哥大学）
概率模型为越来越广泛的商业和政策决策提供信息，这些决策最终由人们做出。最近的算法，计算和软件框架的开发进展促进了贝叶斯概率模型的扩散，它通过它们的联合分布而不是点估计来计算未观察到的参数。虽然它们可以使决策者能够探索复杂的查询，并在理论上执行假设式调节，但需要适当的可视化和交互式工具，以最大限度地提高用户的理解力，并在不确定性下做出理性决策。在本文中，提出了一个协议的贝叶斯模型可视化的定量评估，并介绍了实现该协议的软件框架，以支持标准化的评估实践，并促进再现性。我们说明了用户研究的评估和分析工作流程，探讨是否使箱形图和假设结果图交互可以增加理解或合理性，并得出结论，为研究人员希望在未来进行类似的研究设计准则。
2022-01-10 cs.HC cs.LG
Evaluating Fairness and Mitigating Bias in Machine Learning: A Novel Technique using Tensor Data and Bayesian Regression
School of Computer Science and DAIM University of Hull（计算机科学学院和DAIM赫尔大学）
针对肤色张量数据的公平性研究缺口，提出无需标注的公平性评估方法（将肤色转概率分布后用统计距离度量捕捉细粒度公平差异），以及基于贝叶斯回归多项式颜色距离估计的偏差缓解训练方法，提升ML模型肤色处理的公平性与精细度。
2025-06-13 cs.AI cs.CV cs.LG
Evaluating Bayesian deep learning for radio galaxy classification
Jodrell Bank Centre for Astrophysics（焦德雷尔班克天体物理中心）；Department of Physics & Astronomy（物理与天文学院）；University of Manchester（曼彻斯特大学）；The Alan Turing Institute（阿兰·图灵研究所）
针对射电星系分类，评估不同贝叶斯神经网络在预测性能、不确定性校准和分布偏移检测上的表现。
2024-05-28 astro-ph.IM cs.LG
A Symbolic Approach to Explaining Bayesian Network Classifiers
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种方法来解释贝叶斯网络分类器，这是基于编译这样的分类器到决策函数，具有一个易于处理的和符号的形式。我们介绍了两种类型的解释，为什么分类器可能已分类的实例积极或消极，并建议算法计算这些解释。第一种类型的解释标识负责当前分类的当前活动特征的最小集合，而第二种类型的解释标识其当前状态（活动或不活动）足以进行分类的特征的最小集合。我们认为，特别是天真和潜在树贝叶斯网络分类器的编译成有序决策图（ODD），提供了一个上下文，我们的建议，使用案例研究和实验的基础上，从文献分类评估。
2018-05-09 cs.AI cs.LG
Evaluating Scalable Bayesian Deep Learning Methods for Robust Computer Vision
Uppsala University（乌普萨拉大学）；ETH Zurich（苏黎世联邦理工学院）
虽然深度神经网络已经成为计算机视觉的首选方法，但绝大多数这些模型都无法正确捕捉其预测中固有的不确定性。估计这种预测不确定性可能至关重要，例如在汽车应用中。在贝叶斯深度学习中，预测不确定性通常被分解为不同类型的任意不确定性和认知不确定性。前者可以通过让神经网络输出某一概率分布的参数来估计。认知不确定性估计是一个更具挑战性的问题，虽然最近出现了不同的可扩展的方法，没有广泛的比较已经在现实世界的设置。因此，我们接受这一任务，并提出了一个全面的评估框架，可扩展的认知不确定性估计方法在深度学习。我们提出的框架是专门设计来测试在现实世界中的计算机视觉应用所需的鲁棒性。我们还应用这个框架提供了第一个适当的广泛和结论性的比较，目前两个国家的最先进的可扩展的方法：集成和MC辍学。我们的比较表明，集成始终提供更可靠和实用的不确定性估计。代码可在https://github.com/fregu856/evaluating_bdl上获得。
2020-04-07 cs.CV cs.LG stat.ML
Approximate cross-validation formula for Bayesian linear regression
Tokyo Institute of Technology（东京工业大学）；Hiroshima University（广岛大学）
交叉验证（CV）是一种基于给定数据集评估统计模型/学习系统能力的技术。尽管其广泛的适用性，相当沉重的计算成本可以阻止其使用的系统规模的增长。为了解决贝叶斯线性回归的情况下，这个困难，我们开发了一个公式，用于估计留一法CV误差近似没有实际执行CV。开发的公式的有用性进行了测试的统计力学分析的合成模型。这一点也通过应用于真实世界的超新星数据集得到了证实。
2016-10-25 cs.LG stat.ML
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
多任务逆强化学习（IRL）是从专家论证中推断多个奖励函数的问题。以前的工作，建立在贝叶斯IRL，是无法扩展到复杂的环境中，由于计算的限制。本文在计算效率更高的最大因果熵（MCE）IRL框架下，提出了一种多任务IRL模型。实验表明，我们的方法可以执行一次性的模仿学习在网格世界环境中，单任务IRL算法需要数百个演示来解决。我们概述了初步工作，使用元学习扩展我们的方法，现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体，我们发现这些IRL算法的严重局限性，并得出结论，为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
Function Space Bayesian Pseudocoreset for Bayesian Neural Networks
KAIST AI（韩国科学技术院人工智能学院）；AITRICS
本文提出在函数空间而非权重空间中构建贝叶斯伪核心集，通过匹配函数空间上的变分后验来绕过权重空间中的可扩展性和多模态问题，实验表明该方法能提升不确定性量化和鲁棒性。
2023-10-27 cs.AI cs.LG
SnAKe: Bayesian Optimization with Pathwise Exploration
Imperial College London（帝国理工学院）；BASF SE（巴斯夫股份公司）
贝叶斯优化是优化昂贵的黑盒函数的一个非常有效的工具。受应用程序开发和表征使用液滴微流控反应器的反应化学的启发，我们考虑了一种新的设置，其中当在迭代之间进行大的输入变化时，评估函数的费用可能会显着增加。我们进一步假设我们是异步工作的，这意味着我们必须在评估以前的实验之前选择新的查询。本文研究了这个问题，并介绍了“通过自适应连接样本的顺序贝叶斯优化”（SnAKe），它提供了一个解决方案，考虑大批量的查询和抢先建立优化路径，最大限度地减少输入成本。我们研究了一些收敛特性，并实证表明，该算法是能够实现类似于经典的贝叶斯优化算法在同步和异步设置的遗憾，同时大大降低了输入成本。我们表明，该方法是强大的选择其单一的超参数，并提供了一个无参数的替代。
2023-01-11 cs.LG math.OC
Evaluating the effect of data augmentation and BALD heuristics on distillation of Semantic-KITTI dataset
Navya
主动学习（AL）在自动驾驶数据集中的LiDAR感知任务中仍然相对未被探索。在这项研究中，我们评估贝叶斯主动学习方法应用于数据集蒸馏或核心子集选择（子集与完整数据集的性能接近）的任务。我们还研究了数据增强（DA）的贝叶斯AL基于数据集蒸馏中的应用效果。我们在完整的Semantic-KITTI数据集上进行这些实验。我们只在相同数据集的1/4上扩展了我们现有的研究。DA和BALD的添加对标记效率具有负面影响，因此对提取数据集的能力具有负面影响。我们展示了在设计一个功能AL框架的关键问题，最后在现实世界中的主动学习的挑战审查结束。
2023-02-21 cs.CV cs.LG
Robust Bayesian Optimization with Student-t Likelihood
SigOpt Inc.（SigOpt公司）；Centro Universitario de la Defensa, Zaragoza（萨拉戈萨国防大学中心）
贝叶斯优化最近吸引了自动机器学习社区的注意，因为它在超参数调整方面的出色结果。BO的特点是样本效率，它可以优化昂贵的黑盒功能。效率是以类似于学习学习方法的方式实现的：代理模型（通常以高斯过程的形式）学习目标函数并执行智能采样。这种代理模型甚至可以在存在噪声的情况下应用;然而，与大多数回归方法一样，它对离群数据非常敏感。这可能会导致错误的预测，在BO的情况下，会导致有偏见和效率低下的探索。在这项工作中，我们提出了一个GP模型，是强大的离群值，使用学生t似然隔离离群值和强大的贝叶斯优化。我们提出的数值结果评估所提出的方法在人工函数和真正的问题。
2017-07-18 cs.AI cs.LG stat.ML
MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning
University of Bristol（布里斯托尔大学）；University of Cambridge（剑桥大学）
MONGOOSE 针对评估点间移动成本较大的贝叶斯优化问题，利用元学习参数化策略生成平滑优化轨迹，以克服标准短视方法的跳跃路径缺陷并提升性能。
2024-07-03 cs.LG
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在正式评估这些模型的预测不确定性。此外，现有的作品指出，编码领域知识的模型，如NLM的困难，使他们不适合的应用程序，需要可解释性。在这项工作中，我们表明，传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因，并提出了一种新的训练方法，既可以捕捉有用的预测不确定性，以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Non-Myopic Multifidelity Bayesian Optimization
Politecnico di Torino（都灵理工大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出非短视多保真贝叶斯优化框架，通过两步前瞻采集函数最大化长期累积奖励，在基准优化问题上优于标准多保真贝叶斯方法。
2024-07-04 cs.LG math.OC
Evaluating Uncertainty Quantification approaches for Neural PDEs in scientific applications
University of Illinois（伊利诺伊大学）；Columbia University（哥伦比亚大学）
该研究针对科学应用中的正、反问题，评估了贝叶斯方法与深度集成等不确定性量化方法在神经偏微分方程中的表现，发现贝叶斯方法可能低估真实不确定性。
2023-11-08 cs.AI cs.LG physics.comp-ph
Bayesian Optimization of Function Networks with Partial Evaluations
Center for Applied Mathematics, Cornell University（康奈尔大学应用数学中心）；School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）；Department of Computing and Mathematical Sciences, Caltech（加州理工学院计算与数学科学系）；Meta
针对函数网络贝叶斯优化中整网评估成本高的问题，提出成本感知的知识梯度采集函数，可选择节点及输入进行部分评估，并在合成与实际任务中优于现有方法。
2024-06-12 cs.LG math.OC stat.ML
Bayesian Search for Robust Optima
The University of Exeter（埃克塞特大学）；Swansea University（斯旺西大学）
许多昂贵的黑盒优化问题对它们的输入很敏感。在这些问题中，找到一个好的设计区域比找到一个可能脆弱的最优设计更有意义。昂贵的黑盒函数可以使用贝叶斯优化进行有效优化，其中高斯过程是一种流行的选择，作为昂贵函数的先验。我们提出了一种使用贝叶斯优化的鲁棒优化方法，以找到一个区域的设计空间中，昂贵的功能的性能是相对不敏感的输入，同时保持良好的质量。这是通过从高斯过程中采样实现来实现的，高斯过程对昂贵的函数进行建模，并评估每个实现的改进。这些改进的期望可以用进化算法来廉价地优化，以确定评估昂贵函数的下一个位置。我们描述了一个有效的过程，以找到最佳的预期改善。我们的经验表明，评估昂贵的功能在候选人的不确定性区域的模型是最不确定的，或在随机的位置，产生最佳的收敛性相比，剥削计划。我们说明了我们的方法在两个，五个和十个维度的六个测试功能，并证明它是能够超越两个国家的最先进的方法从文献中。我们还展示了我们的方法一个两个现实世界中的问题，在4和8维，其中包括训练机器人手臂，以推动物体到目标。
2021-12-15 cs.LG stat.ML
Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift
Google Research（谷歌研究院）；DeepMind
包括深度学习在内的现代机器学习方法在监督学习任务的预测准确性方面取得了巨大成功，但在对其预测{ \em不确定性}给出有用的估计方面可能仍然不足。量化不确定性在现实世界中尤其重要，因为现实世界中的输入分布通常会由于样本偏差和非平稳性等多种因素而偏离训练分布。在这种情况下，经过良好校准的不确定性估计传达了关于模型输出何时应该（或不应该）可信的信息。文献中已经提出了许多概率深度学习方法，包括贝叶斯和非贝叶斯方法，用于量化预测不确定性，但据我们所知，以前还没有对这些方法在数据集偏移下进行严格的大规模实证比较。我们提出了一个大规模的基准现有国家的最先进的方法分类问题，并调查数据集的准确性和校准的影响。我们发现，传统的事后校准确实达不到要求，因为其他几个以前的方法。然而，一些边缘化模型的方法在广泛的任务中给出了令人惊讶的强大结果。
2019-12-17 cs.LG stat.ML
Conditional Bayesian Quadrature
University College London（伦敦大学学院）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学中心）
针对采样与被积函数评估成本高的场景，提出基于概率数值框架的条件贝叶斯求积方法，整合被积函数先验平滑性等信息，可量化不确定性、提升收敛速度，且经理论与多领域任务实证验证。
2024-06-24 cs.LG stat.CO stat.ML
VBALD - Variational Bayesian Approximation of Log Determinants
University of Oxford（牛津大学）；Oxford Man Institute（牛津曼学院）
在机器学习中，求正定矩阵的对数行列式是一个普遍存在的问题。其应用范围从高斯过程、最小体积椭圆体、度量学习、核学习、贝叶斯神经网络、确定点过程、马尔可夫随机场到离散图形模型的分区函数。为了避免规范的，但禁止，Cholesky $\mathcal{O}(n^{3})$计算成本，我们提出了一种新的方法，与复杂性$\mathcal{O}(n^{2})$，基于约束变分贝叶斯算法。我们将我们的方法与Taylor，Chebyshev和Lanczos方法进行了比较，并在合成和真实世界的数据集上显示了最先进的性能。
2018-02-21 cs.IT cs.LG math.IT
Maximizing acquisition functions for Bayesian optimization
Imperial College London（帝国理工学院）；University of Freiburg（弗赖堡大学）
贝叶斯优化是一种样本效率高的全局优化方法，它依赖于理论上激励的值搜索（获取函数）来指导其搜索过程。完全最大化捕获函数产生贝叶斯决策规则，但这种理想难以实现，因为这些函数通常是非平凡的优化。当并行评估查询时，这种说法尤其正确，其中采集函数通常是非凸的，高维的，棘手的。我们首先表明，通过蒙特卡罗集成估计的采集功能始终服从基于梯度的优化。随后，我们确定了一个共同的家庭收购功能，包括EI和UCB，其属性不仅方便，但证明使用贪婪的方法，其最大化。
2018-12-02 cs.LG stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University（兰卡斯特大学）
我们提出了MUMBO，第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里，挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题，包括多保真度优化的流行任务。然而，虽然已知信息理论获取函数提供最先进的贝叶斯优化，但用于多任务场景的现有实现具有过高的计算要求。因此，以前的采集功能只适用于低维参数空间和函数查询成本足够大，掩盖非常显着的优化开销的问题。在这项工作中，我们得到了一个新的多任务版本的熵搜索，提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性，允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系，提出蒙特卡洛噪声注入方法，在训练时注入噪声、推断时多次前向传播，实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.（赛博艾坚特公司）
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中，通常假设评估点的计算成本很大;因此，重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法，它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而，因为贝叶斯优化应该为整个搜索空间构造代理模型，所以当点没有被充分采样时，它不会表现出良好的性能。在这项研究中，我们开发了一种启发式方法细化搜索空间的贝叶斯优化时，可用的评估预算低。该方法通过对原始区域的划分来细化期望区域，以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验，我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化，并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
Practical Batch Bayesian Optimization for Less Expensive Functions
Deakin University（迪肯大学）
贝叶斯优化（BO）及其批处理扩展成功地优化了昂贵的黑盒函数。然而，当BO的计算成本可以支配评估黑盒函数的成本时，这些传统的BO方法对于优化不太昂贵的函数还不是理想的。这些不太昂贵的功能的例子是廉价的机器学习模型，通过模拟器进行廉价的物理实验，以及贝叶斯优化中的采集功能优化。在本文中，我们考虑一个批量BO设置的情况下，功能评估是不太昂贵的。我们的模型是基于一种新的探索策略，使用几何距离，提供了一种替代的方式进行探索，选择一个点远离观察到的位置。利用这种直觉，我们建议使用Sobol序列来指导探索，这将摆脱在以前的作品中使用的多个全局优化步骤。基于提出的距离探索，我们提出了一个有效的批量BO方法。我们证明了我们的方法优于其他基线和全局优化方法时，函数的评估是不太昂贵的。
2018-11-05 cs.LG stat.ML
Deep Bayesian Active Learning for Natural Language Processing: Results of a Large-Scale Empirical Study
Carnegie Mellon University（卡内基梅隆大学）
最近的几篇论文研究了主动学习（AL），以减轻深度学习对自然语言处理的数据依赖。然而，AL的适用性，以现实世界的问题仍然是一个悬而未决的问题。虽然在监督学习中，实践者可以尝试许多不同的方法，在选择模型之前对每个方法进行验证，但AL没有这样的奢侈。在一次AL运行过程中，代理注释其数据集，耗尽其标记预算。因此，给定一个新的任务，主动学习者没有机会比较模型和习得功能。本文提供了深度主动学习的大规模实证研究，解决了多个任务，每个任务都有多个数据集，多个模型和一整套采集功能。我们发现，在所有设置中，贝叶斯主动学习的分歧，使用不确定性估计提供的辍学或贝叶斯Backprop显着提高了i.i.d.通常优于经典的不确定性抽样。
2018-09-24 cs.CL cs.LG stat.ML
