Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出ACTS方法,通过自适应缩减搜索空间提高高维贝叶斯优化效率,改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)(坎皮纳斯州立大学 (Unicamp))
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量(例如熵),使用这些度量作为异常检测器的特征,并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型,从而产生更好的检测器。我们还提出了一种新的方法,称为单样本贝叶斯近似(OSBA)的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验,MNIST和CIFAR 10。我们比较了以下候选神经网络模型:极大似然,贝叶斯丢弃,OSBA和-对于MNIST --标准变分近似。我们表明,贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然,基本上相当于标准的变分近似,但更快。
2016-12-23 cs.LG cs.NE stat.ML
The Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出贝叶斯学习规则,用自然梯度估计候选分布来近似后验,从而统一并推广了从岭回归、牛顿法到随机梯度下降、Dropout 等众多经典与现代机器学习算法,并支持设计新算法。
2024-06-08 cs.LG stat.ML
Bayesian fairness
University of Oslo(奥斯陆大学);Chalmers University(查尔姆斯理工大学);UC Santa Cruz(加州大学圣克鲁兹分校);Harvard University(哈佛大学)
我们考虑的问题,如何决策可以是公平的,当世界的基本概率模型是不确定的。我们认为,最近的机器学习中的公平性的概念需要明确地纳入参数的不确定性,因此,我们引入了{ \em贝叶斯公平性}的概念作为一个合适的候选人公平的决策规则。使用平衡,Kleinberg et al(2016)引入的公平性定义,我们展示了贝叶斯观点如何导致即使在高度不确定性下也能表现良好,公平的决策规则。
2018-11-04 cs.LG stat.ML
Uncertainty aware Search Framework for Multi-Objective Bayesian Optimization with Constraints
Washington State University(华盛顿州立大学)
我们考虑约束多目标(MO)黑盒优化问题,使用昂贵的功能评估,其目标是近似的真正的Pareto集的解决方案,满足一组约束,同时最小化的功能评估的数量。我们提出了一个新的框架命名为不确定性感知搜索框架多目标优化约束(USeMOC),有效地选择输入序列进行评估,以解决这个问题。USeMOC的选择方法包括通过真函数的代理模型来确定最有希望的候选者并基于不确定性度量来挑选最佳候选者,从而解决廉价的约束MO优化问题。我们应用这个框架来优化设计的多输出开关电容电压调节器,通过昂贵的模拟。我们的实验结果表明,USeMOC是能够实现超过90%的数量减少所需的模拟发现优化的电路。
2020-09-01 cs.LG stat.ML
Data-efficient Bayesian-guided design selection from large candidate sets: Application to hyperelastic stochastic metamaterials
Technische Universität Braunschweig(布伦瑞克工业大学)
本文提出一种贝叶斯引导的设计选择框架,通过统计特征工程降低设计维度,并利用多输出高斯过程代理模型映射到有效超弹性本构参数,以高效筛选出满足目标宏观应力响应的设计。
2026-09-09 cs.CE stat.ML
A Tractable Fully Bayesian Method for the Stochastic Block Model
National Institute of Informatics(国立信息学研究所);Tokyo Institute of Technology(东京工业大学)
随机块模型(SBM)是一个生成模型,揭示了图的宏观结构。贝叶斯方法用于(i)聚类分配推断和(ii)聚类数的模型选择。本文研究了大样本极限下SBM中贝叶斯推理的行为。结合变分逼近和拉普拉斯方法,建立了完全边缘化对数似然的一致性判据。在此基础上,我们导出了一个易于处理的算法,可以同时解决任务(i)和(ii),从而避免了需要外部循环来检查所有候选模型。我们的经验和理论结果表明,我们的方法是可扩展的计算,准确的近似,和简洁的模型选择。
2016-02-06 cs.LG stat.ML
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology(卡弗里宇宙学研究所);University of Cambridge(剑桥大学);University of Sussex(萨塞克斯大学)
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的,但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具,完全边缘化所有后验模式,我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性,我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子,这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Entropy-based Pruning for Learning Bayesian Networks using BIC
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)(达莱莫勒人工智能研究所)
对于贝叶斯网络的可分解的基于得分的结构学习,现有的方法首先计算每个变量的候选父集的集合,然后通过为每个变量选择一个父集来优化该集合,而不创建有向循环,同时最大化总得分。我们的目标是构建候选父集合的选择得分时,贝叶斯信息准则(BIC)的任务。我们提供了新的非平凡的结果,可用于修剪每个节点的候选父集的搜索空间。我们分析了这些新的结果如何与以前的想法在文献中的理论和经验。我们在UCI数据集的实验中表明,收益可能是显着的。由于新的剪枝规则易于实现,计算成本低,他们可以迅速地集成到所有国家的最先进的贝叶斯网络的结构学习方法。
2017-07-19 cs.AI stat.ML
Fitness inheritance in the Bayesian optimization algorithm
本文介绍了如何适应度继承可以用来估计适应度的一部分新采样的候选解决方案的贝叶斯优化算法(BOA)。估计某些候选解的适应度的目的是为了减少适应度评估昂贵的问题的适应度评估的数量。贝叶斯网络中使用的BOA模型有前途的解决方案,并产生新的扩展,不仅允许建模和采样的候选解决方案,但也用于估计他们的健身。结果表明,健身继承是一个很有前途的概念BOA,因为人口规模的要求,建立适当的模型有前途的解决方案,导致良好的健身估计,即使只有一小部分的候选解决方案进行评估,使用实际的健身功能。这可以导致实际健身评估的数量减少30倍或更多。
2004-02-15 cs.AI cs.LG cs.NE
Robust Bayesian Cluster Enumeration Based on the $t$ Distribution
Technische Universität Darmstadt(达姆施塔特工业大学)
聚类分析中的一个主要挑战是数据聚类的数量大多是未知的,必须在对观察到的数据进行聚类之前进行估计。在实际应用中,观测数据往往受到重尾噪声和离群值的影响,这些噪声和离群值掩盖了数据的真实底层结构。因此,估计簇的数量变得具有挑战性。为此,我们推导出一个强大的集群枚举标准制定的问题,估计集群的数量作为最大化的后验概率的多元$t_ν$分布的候选模型。我们利用贝叶斯定理和渐近近似来提出一个强大的标准,拥有一个封闭的形式表达。此外,我们完善的推导和有限的样本量的数据集提供了一个强大的集群枚举准则。鲁棒性标准需要估计每个候选模型的聚类参数作为输入。因此,我们提出了一个两步聚类枚举算法,该算法使用期望最大化算法来划分数据和估计聚类参数之前的计算的一个强大的标准。该算法的性能进行了测试,并与现有的聚类枚举方法,使用数值和真实数据的实验。
2020-05-05 cs.LG stat.ML
ChemBO: Bayesian Optimization of Small Organic Molecules with Synthesizable Recommendations
Carnegie Mellon University(卡内基梅隆大学);U. C. Berkeley(加州大学伯克利分校)
在诸如分子设计或药物发现的应用中,期望具有基于过去测试的结果推荐新候选分子的算法。这些分子首先需要合成,然后测试其客观性质。我们描述了ChemBO,贝叶斯优化框架,用于生成和优化有机分子,以获得所需的分子特性。虽然大多数现有的数据驱动的方法,这个问题不占样本效率或未能强制执行现实的限制合成,我们的方法探讨了合成图中的样本效率的方式,并产生可合成的候选人。我们将ChemBO实现为一个高斯过程模型,并对其现有的分子核进行了研究。此外,我们提出了一种新的基于最优传输的距离和核,它明确地考虑了图形信息。在我们的实验中,我们证明了所提出的方法对几个分子优化问题的有效性。
2019-10-22 cs.LG physics.chem-ph stat.ML
Range-Aware Bayesian Optimization for Discovering Diverse Designs within Target Property Windows
Department of Chemical and Biological Engineering, Princeton University(普林斯顿大学化学与生物工程系)
提出范围感知贝叶斯优化框架,通过采集函数直接评分候选解满足目标范围的后验概率,在基准任务和实际案例中比标准方法发现更多样化的有效设计。
2026-06-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience(理论神经科学中心);Columbia University(哥伦比亚大学)
贝叶斯优化已成为一个强大的候选工具,为全球优化的功能与昂贵的评价成本。然而,由于贝叶斯方法研究的动态性质,以及计算技术的发展,在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中,我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外,我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱,如边缘参数的过采样和高性能参数的过度利用。最后,我提供了相对简单的启发式算法,以及它们的开源软件实现,这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Nonparametric Bayesian Classification
贝叶斯方法的分类问题,提出了随机分区发挥核心作用。有人认为,分区的方法有能力利用各种大规模的空间结构,如果它们存在于未知的回归函数$f_0$。一个理想化的一维问题被认为是详细。提出的非参数先验使用随机分裂点将单位区间划分为随机数的片段。发现该先验提供了$Ł^p$拓扑中的回归函数的相合估计,对于任何$1 \leq p < \infty$,以及对于任意可测量的$f_0:[0,1] \to [0,1]$。一个马尔可夫链蒙特卡罗(MCMC)的实现概述和分析。仿真实验表明,所提出的估计与各种传统的估计相比,毫不逊色。后验均值估计和袋装CART估计之间的惊人的相似之处指出和讨论。对于更高的维度,一个广义的先验引入采用随机Voronoi分区的协变量空间。由此产生的估计显示承诺的二维问题,并扩展到任意度量空间与最小的额外的计算工作。
2006-03-09 math.ST stat.TH
Bayesian Optimization of CVaR with Unknown Hyperparameters
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道工业大学);Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心)
针对未知GP超参数的CVaR贝叶斯优化问题,提出首个无遗憾算法HE-CV-UCB,经实验验证其性能优于现有方法。
2026-10-14 cs.LG
Efficient Cost-Aware LLM Evaluation via Bayesian Bandit Gittins Indices
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学);New York University(纽约大学);Shanghai University of Finance and Economics(上海财经大学)
针对LLM配置评估成本高的问题,提出基于贝叶斯Bandit Gittins指数的GittinsEval方法,通过最优停止和LCB评分实现高效评估,仅用1%-2%成本即达近零遗憾。
2026-10-06 cs.CL cs.LG stat.ML
Bayesian ranking and selection with applications to field studies, economic mobility, and forecasting
决策通常涉及排名和选择。例如,为了组建一个政治预测团队,我们可以先将选择范围缩小到我们有信心在预测能力上排在前10%的候选人。不幸的是,我们不知道每个候选人的真实能力,但观察到一个嘈杂的估计。本文开发了新的贝叶斯算法排名和选择候选人的基础上嘈杂的估计。使用基于经验数据的模拟,我们表明,我们的算法往往优于频率论的排名和选择算法。我们的贝叶斯排名算法产生较短的排名置信区间,同时保持近似正确的覆盖率。我们的贝叶斯选择算法选择更多的候选人,同时保持正确的错误率。我们将我们的排名和选择程序应用于实地实验,经济流动性,预测和类似的问题。最后,我们在一个用户友好的Python包中实现了我们的排名和选择技术,该包的文档如下:https://dsbowen-conditional-inference.readthedocs.io/en/latest/。
2022-08-03 econ.EM stat.ME
Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets?
University College London(伦敦大学学院);Institut Polytechnique de Paris(巴黎理工学院);University of Oxford(牛津大学)
本文探究在适度评估预算下,贝叶斯优化能否在神经丛中高效找到强单专家,提出在权重空间随机线性嵌入中应用贝叶斯优化的无梯度方法,在Qwen2.5-Instruct模型基准测试中,该方法评估成本更低且性能优于随机优化。
2026-08-12 cs.LG
Bayesian Multi Plate High Throughput Screening of Compounds
化合物(化学品)的高通量筛选是药物发现的重要组成部分[7],涉及数千至数百万种化合物,目的是识别候选命中物。大多数统计工具,包括行业标准的B评分方法,都适用于单个复合板,并且不利用跨板相关性或板之间的统计强度。我们提出了一个新的统计框架的基础上贝叶斯非参数模型的化合物的高通量筛选。所提出的方法能够同时从多个板中识别候选命中,在板之间共享统计强度,并提供更稳健的化合物活性估计。它可以灵活地适应任意分布的复合活动,并适用于任何板的几何形状。该算法为命中识别和错误发现率控制提供了一种原则性的统计方法。实验表明,在命中识别的灵敏度和特异性显着改善的B-评分方法,这是高度敏感的阈值选择。该框架作为一个高效的R扩展包BHTSpack实现,适用于大规模数据集。
2017-09-28 stat.ML
Multi-Agent LLMs for Adaptive Acquisition in Bayesian Optimization
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文研究多智能体大语言模型在贝叶斯优化中的自适应获取策略,通过分解探索-利用控制与候选生成,提升搜索效率与稳定性。
2026-10-30 cs.AI cs.LG
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology(查尔姆斯理工大学);University of Oslo(奥斯陆大学)
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法,以诱导更深,更稀疏的探索与理论界的性能相对于贝叶斯最优策略,具有较低的计算复杂性。主要的新颖性是使用候选策略生成器,在规划树中生成长期选项(超过信念),这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明,与现有算法相比,该算法不仅在计算效率上更高,而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Bayesian model averaging via mixture model estimation
基于Kaniav等人提出的假设检验的混合模型方法,提出了一种新的贝叶斯模型平均(BMA)和选择方法,2014.继承这种方法的良好特性,它扩展了BMA的情况下,不适当的先验选择的参数是共同的所有候选模型。从算法的角度来看,我们的方法包括从所有候选模型的单数据混合物的后验分布中采样,由其先验概率加权。我们证明了这个后验分布等于所有候选模型的“贝叶斯模型平均”后验分布,由它们的后验概率加权。从这个BMA后验样本,每个模型的后验概率的一个简单的蒙特卡罗估计,以及每个模型的后验分布下的期望的重要性抽样估计。
2018-08-01 stat.ME
Bayesian Cluster Enumeration Criterion for Unsupervised Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
我们推导出一个新的贝叶斯信息准则(BIC),制定的问题估计的数量的集群在一个观察数据集的最大化的后验概率的候选模型。鉴于一些温和的假设得到满足,我们提供了一个广泛的数据分布类的一般BIC表达式。这是为特定分布推导BIC时的起点。沿着这条线,我们提供了一个封闭形式的BIC多元高斯分布变量的表达。我们表明,将聚类问题的数据结构的BIC结果的衍生在一个表达式中,其惩罚项是从原来的BIC不同。我们提出了一个两步聚类枚举算法。首先,基于模型的无监督学习算法根据给定的候选模型集对数据进行分区。随后,聚类的数量被确定为与所提出的BIC最大的模型相关联的聚类。所提出的两步算法的性能进行了测试,使用合成和真实的数据集。
2018-08-27 cs.LG math.ST stat.ML
Frequentist Oracle Properties of Bayesian Stacking Estimators
本文针对贝叶斯堆叠估计量缺乏频率学派神谕性质的问题,推导了堆叠贝叶斯线性与逻辑回归模型的该性质,并通过蒙特卡洛实验验证其可能优于最佳候选模型,为贝叶斯方法提供频率学依据并拓展了频率学派方法库。
2024-11-04 math.ST stat.TH
Consecutive Preferential Bayesian Optimization
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Signal Theory and Communications, Universidad Carlos III de Madrid(马德里卡洛斯三世大学信号理论与通信系);VTT Technical Research Centre of Finland(芬兰技术研究中心)
提出连续优先贝叶斯优化,显式考虑候选生成成本并建模人类反馈的感知模糊性,通过约束比较和恰可察觉差异阈值提升高成本或漠视反馈场景下的优化准确率。
2026-11-19 cs.LG
Bayesian Structural Inference for Hidden Processes
University of California at Davis(加州大学戴维斯分校);Santa Fe Institute(圣塔菲研究所)
我们引入贝叶斯方法来发现结构复杂的过程中的模式。贝叶斯结构推理(BSI)的建议方法依赖于一组候选的单线HMM(uHMM)的拓扑推理的过程结构的数据序列。我们采用最近开发的拓扑ε机的精确枚举。(续篇则移除拓扑限制。)uHMM拓扑的这个子集具有额外的好处,即无论估计的转移概率如何,推断的模型都保证是ε机。ε-机和uH的属性允许推导用于估计转移概率、推断开始状态和比较候选模型拓扑的后验概率的分析表达式,尽管过程内部结构仅间接地存在于数据中。我们证明BSI的有效性,估计过程的随机性,反映了香农熵率,其结构,量化的统计复杂性。我们还比较了使用候选模型的后验分布和单,最大后验模型的点估计,并表明前者更准确地反映了估计值的不确定性。我们将BSI应用于有限阶和无限阶马尔可夫过程的类内实例,以及类外的无限状态隐过程。
2013-12-09 cs.LG math.ST nlin.CD
BALANCE: Bayesian Linear Attribution for Root Cause Localization
Ant Group(蚂蚁集团);Ocean Base(OceanBase(海洋基))
根本原因分析(RCA)在分布式数据系统的维护和操作中起着不可或缺的作用,因为它在故障检测和系统恢复之间架起了一座桥梁。现有的工作主要研究多维定位或基于图的根本原因定位。本文开辟了利用最近开发的可解释人工智能(XAI)的RCA的目的框架的可能性。特别是,我们提出了BALANCE(BALANCE Linear Attribution for root CausE localization),它通过XAI中的归因镜头来阐述RCA问题,并试图通过候选根本原因的行为来解释目标KPI中的异常。平衡由三个创新组成部分。首先,我们提出了一个贝叶斯多共线性特征选择(BMFS)模型预测目标KPI给定的候选根本原因,以向前的方式,同时促进稀疏性,并同时注意候选根本原因之间的相关性。其次,我们引入归因分析,以向后的方式计算每个候选人的归因得分。第三,如果有多个KPI,我们合并与每个KPI相关的估计根本原因。我们广泛评估了一个合成数据集以及三个现实世界的RCA任务,即坏SQL本地化,容器故障定位和故障类型诊断Exathlon的建议的平衡方法。结果表明,BALAANCE在准确性方面优于最先进的(SOTA)方法,并且运行时间最少,并且对于实际任务至少实现了比SOTA方法显着更高的准确性的$6\%$。BALANCE已被部署到生产环境中,以解决现实世界的RCA问题,在线结果进一步倡导将其用于分布式数据系统中的实时诊…
2023-01-31 cs.DB cs.LG
Active Learning Guided Design Space Refinement for Scalable Multi-Objective Bayesian Optimization in Materials Discovery
National Centre for Scientific Research “Demokritos”(希腊国家科学研究中心“德谟克利特”)
本研究提出主动学习引导的自适应搜索空间优化框架,结合多目标贝叶斯优化,在两类材料优化任务中验证其可高效缩减候选空间并保留关键优化区域,提升大规模材料优化效率。
2026-08-06 cond-mat.mtrl-sci cs.LG
qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto optimal Thompson sampling
本文提出 qPOTS,一种基于 Pareto 最优 Thompson 采样的批量 MOBO 方法,通过在后验 GP 上进行低成本进化多目标优化避免采集函数难题,并保证样本效率与实证性能。
2025-02-16 math.OC stat.ML
LAGO: A Local-Global Optimization Framework Combining Trust Region Methods and Bayesian Optimization
Institute of Mathematics EPFL(瑞士联邦理工学院数学研究所);Dipartimento di Scienze Matematiche Politecnico di Torino(都灵理工大学数学系)
提出LAGO框架,通过自适应竞争机制耦合贝叶斯优化和基于梯度的信赖域局部细化,用于光滑且梯度可用的昂贵目标函数优化,在提议层面分离全局探索与局部细化。
2026-06-05 cs.LG math.OC
Applying Bayesian Hierarchical Probit Model to Interview Grade Evaluation
面试是大多数企业获得潜在候选人的基本活动,也是求职者获得良好回报和充实职业机会的基本活动。在许多情况下,面试是在多个过程中进行的,如电话面试和几个面对面的面试。在每个阶段,候选人都要从各个方面进行评估。其中,等级评价,如1 - 4级评分,可能是一种合理的方法来评估候选人。然而,由于每个评价都是基于访谈者的主观判断,因此汇总的评价可能会有偏差,因为没有检查访谈者的韧性差异。此外,值得注意的是,面试官的强硬程度可能会因面试轮次而异。如本文所述,我们提出了一个分析框架,同时估计候选人的真实潜力和面试官的判断韧性考虑面试回合,与算法提取看不见的知识的候选人的真实潜力和面试官的韧性作为潜在变量,通过分析等级数据的面试。我们将贝叶斯分层有序概率模型应用于HRMOS的等级数据,HRMOS是BizReach公司运营的基于云的申请人跟踪系统(ATS),一家专门解决日本人力资源需求的IT初创企业。我们的模型成功地量化了候选人的潜力和面试官的韧性。该模型的解释和应用,以及在现实世界中的设置在招聘过程中的位置进行了讨论。参数估计采用马尔可夫链蒙特卡罗(MCMC)方法。不确定性的讨论,这是由参数的后验分布,也提供了与分析。
2022-06-16 stat.AP
Posterior Averaging Information Criterion
本文提出了一种新的模型选择方法--后验平均信息准则,从预测的角度对贝叶斯模型进行评估。理论基础是建立在库尔贝克-莱布勒散度上的,以量化所提出的候选模型和底层真实模型之间的相似性。从贝叶斯的角度来看,我们的方法在预测未来的独立观察方面,在整个后验分布上评估候选模型。在不假设真实分布包含在候选模型中的情况下,通过校正对数似然的后验均值相对于其预期对数似然的渐近偏差来开发新的标准。它可以普遍适用于贝叶斯模型与退化的非信息先验。在正态和二项设置下的模拟都显示出良好的小样本性能。
2020-09-19 math.ST stat.ME stat.TH
Bayesian Uncertainty Quantification for Ranked Choice Voting Polls
Claremont McKenna College(克莱蒙特麦肯纳学院)
针对排名选择投票(RCV)民调中的路径依赖不确定性,提出贝叶斯框架估计候选人的获胜概率,并通过2021年纽约市民主党市长初选和2022年阿拉斯加州美国众议院特别选举的投票记录验证其有效性。
2026-07-01 stat.AP stat.ME
Uncertainty-Aware Sparse Identification of Dynamical Systems via Bayesian Model Averaging
The University of Tokyo(东京大学);NTT Research, Inc.(NTT研究所);University of Michigan(密歇根大学)
本文提出一种贝叶斯稀疏识别框架,用于动态系统耦合组件的建模,通过结合稀疏建模与贝叶斯模型平均,量化每个候选交互和基函数的可信度,验证了在有限数据或动态不可辨识情况下,有效识别稀疏交互结构及高阶谐波组件的能力。
2026-04-12 stat.AP stat.ML
Uncertainty-Aware Search Framework for Multi-Objective Bayesian Optimization
Washington State University(华盛顿州立大学)
我们考虑使用昂贵的函数评估的多目标(MO)黑盒优化的问题,其中的目标是近似真正的帕累托集的解决方案,同时最小化函数评估的数量。例如,在硬件设计优化中,我们需要使用昂贵的模拟来找到权衡性能、能量和面积开销的设计。我们提出了一种新的不确定性感知搜索框架,称为USeMO有效地选择输入序列进行评估,以解决这个问题。USeMO的选择方法包括通过真实函数的代理模型来解决廉价MO优化问题,以识别最有希望的候选者,并基于不确定性的度量来挑选最佳候选者。我们还提供了理论分析,以表征我们的方法的有效性。我们在几个合成和六个不同的现实世界的基准问题上的实验表明,USeMO始终优于最先进的算法。
2022-04-12 cs.AI cs.LG
Optimization for truss design using Bayesian optimization
KL University(KL大学);Georgia State University(佐治亚州立大学)
本文提出使用贝叶斯优化框架解决机械桁架几何优化问题,通过迭代评估候选设计并更新概率模型,在计算成本高昂的有限元分析中实现高效寻优,为昂贵工程领域的AI优化提供基线。
2023-07-01 cs.AI stat.AP
A partial likelihood approach to tree-based density modeling and its application in Bayesian inference
本文提出用Cox偏似然解决基于树的贝叶斯密度建模中数据依赖划分导致的数据双重使用问题,在保持推断一致性的同时提升估计精度和计算效率。
2025-04-10 math.ST stat.CO stat.ME
ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出正交贝叶斯优化框架ORTHOBO,通过减少方差提升决策稳定性,用于超参数优化。
2026-05-07 cs.AI cs.LG
Bayesian Aggregation
统计学中的一个普遍挑战是在存在多个候选模型或学习算法的情况下进行预测。模型聚合试图将来自各个模型的所有预测分布组合起来,这比单一的模型选择更稳定和灵活。在这篇文章中,我们描述了何时以及如何在贝叶斯决策理论的镜头下聚合模型。在两个广泛使用的方法,贝叶斯模型平均(BMA)和贝叶斯叠加,我们比较他们的预测性能,并审查其理论最优性,概率解释,实际实施,并在复杂的模型扩展。
2021-05-17 stat.ME
Multi-agents adaptive estimation and coverage control using Gaussian regression
University of Padova(帕多瓦大学)
本文研究多智能体在未知传感函数下实现最优覆盖控制的问题,通过高斯回归框架实现自适应估计与覆盖的平衡,实验验证了方法的有效性。
2014-07-22 cs.MA cs.SY eess.SY
$\{\text{PF}\}^2$ES: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization
提出了并行可行Pareto前沿熵搜索($\{\text{PF}\}^2$ ES)--一种新的支持未知约束和批量查询的多目标贝叶斯优化的信息论获取函数。由于表征候选评估和(可行的)帕累托边界之间的互信息的复杂性,现有的方法必须要么采用粗糙的近似,显着妨碍其性能或依赖于昂贵的推理方案,大大增加了优化的计算开销。相反,通过使用变分下界,$\{\text{PF}\}^2$ ES提供了互信息的低成本和准确的估计。我们基准$\{\text{PF}\}^2$ ES对其他信息理论的采集功能,展示其竞争力的性能,优化合成和现实世界的设计问题。
2023-02-21 cs.LG math.OC
Fast Bayesian Deconvolution using Simple Reversible Jump Moves
我们提出了一种基于马尔可夫链蒙特卡罗的反卷积方法,旨在估计光谱数据中的峰数,以及每个径向基函数的最佳参数。假设的情况下,峰的数量是未知的,扫描模拟所有候选模型是计算上不现实的,所提出的方法有效地搜索可能的候选人通过跨维移动辅助退火效应从副本交换蒙特卡罗移动。通过模拟使用合成数据,所提出的方法证明了其优于传统的扫描模拟,特别是在模型选择问题。应用一组橄榄石反射光谱数据与不同的镁橄榄石和铁橄榄石的混合比例再现从以前的矿物学研究中获得的结果,表明我们的方法是适用于反褶积的真实数据集。
2020-11-26 physics.data-an stat.ME
Supporting Bayesian modelling workflows with iterative filtering for multiverse analysis
本文提出用于多宇宙分析的迭代筛选方法,将贝叶斯建模工作流与多宇宙分析结合,通过评估预测能力和处理计算问题,从大量候选模型中高效筛选出更少且质量更高的模型,并用真实数据示例验证其有效性。
2024-04-02 stat.CO stat.ME
Reliability-Aware Bayesian Optimization of 1310 nm PCSELs with FDTD Verification
School of Science and Engineering (SSE), The Chinese University of Hong Kong, Shenzhen(科学与工程学院(SSE),香港中文大学(深圳));Nick Holonyak Micro and Nanotechnology Laboratory, University of Illinois Urbana-Champaign(Nick Holonyak微纳技术实验室,伊利诺伊大学厄巴纳-香槟分校)
研究1310nm PCSEL设计优化成本高的问题,采用将商业时域有限差分求解器与可靠性感知贝叶斯优化循环相结合的方法,经多次评估运行,产生高Q PCSEL候选方案,提高产量,还确定了相关控制,给出一组优质候选方案。
2026-07-27 cs.LG physics.app-ph physics.optics
High-dimensional Feature Selection Using Hierarchical Bayesian Logistic Regression with Heavy-tailed Priors
在现代科学的许多领域中,从大量(例如,数千个)候选特征中选择最有用的特征的问题都出现了。基因组研究中一个有趣的问题是,从数千个在某些组织细胞中活跃(表达)的基因中,我们希望找到可用于分离不同类别组织的基因(例如,基因组)。癌症和正常)。本文报道了我们在小自由度(如1)和极小尺度下,使用基于重尾先验的贝叶斯逻辑斯谛回归,并使用哈密顿蒙特卡罗进行计算的经验。我们讨论了这种方法的优点和局限性,并说明了尚未解决的困难。该方法应用于与前列腺癌相关的真实微阵列数据集。该方法仅识别出6033个候选基因中的3个非冗余基因,但比许多其他方法实现了更好的留一交叉验证预测精度。
2018-05-12 stat.AP stat.CO
Conformity-Based Bayesian Projective Prediction
University of Florida(佛罗里达大学)
提出一种结合贝叶斯预测建模与共形预测思想的鲁棒预测框架(CPP),通过分布共形性定义预测区间,并证明其在ε-污染模型下渐近方差优于任意有界影响插件预测器。
2026-07-13 math.ST stat.ME stat.TH
Bayesian decision-theoretic model selection for monitored systems
本文利用贝叶斯决策理论,在候选模型具有不同保真度的情况下,选择在恢复目标兴趣量精度与模型复杂度成本间最优平衡的模型,并在IMAC-MVUQ挑战赛中验证了该方法。
2023-10-16 stat.AP
Mode jumping MCMC for Bayesian variable selection in GLMM
广义线性混合模型(GLMM)被广泛应用于推理和预测,提供了一个强大的科学工具。越来越多的数据来源变得可用,为这些模型引入了各种候选解释变量。因此,选择最佳的变量组合变得至关重要。在贝叶斯设置中,基于观察到的数据的模型的后验分布可以被视为模型证据的相关度量。可能的模型的数量随着候选变量的数量呈指数级增加。此外,模型空间在后验模型概率方面具有许多局部极值。为了解决这些问题,一种新的MCMC算法的搜索通过模型空间,通过有效的模式跳跃的GLPNN。该算法是基于边缘似然可以有效地计算在每个模型。建议应用精确表达式或精确近似的边际似然。建议的算法应用于模拟数据,著名的美国犯罪数据,蛋白质活性数据和表观遗传数据,并与现有的几种方法进行比较。
2018-06-07 stat.CO
Flexible cost-penalized Bayesian model selection: developing inclusion paths with an application to diagnosis of heart disease
本文提出一种灵活成本惩罚的贝叶斯模型选择方法,通过可调先验和包含路径可视化,帮助医疗从业者在考虑预测变量成本的情况下选择有用子集,并在心脏病诊断数据上验证其有效性。
2024-05-06 stat.ME
General Bayesian Predictive Synthesis
本文提出GBPS方法,在贝叶斯框架下通过损失最小化整合专家预测分布,无需参数估计,并以模拟研究验证其用于贝叶斯集成决策的性能。
2024-06-13 stat.ME
Bayesian inference to identify crystalline structures for XRD
针对传统 XRD 晶相分析依赖专家且缺乏置信区间评估的问题,提出贝叶斯推断方法,可从 50 个候选结构中高概率识别真实晶相并准确估计混合比例。
2023-09-26 cond-mat.mtrl-sci stat.AP
Where the Bee Sucks -- A Dynamic Bayesian Network Approach to Decision Support for Pollinator Abundance Strategies
University of Warwick(华威大学)
对于希望作出循证决策的决策者来说,挑战之一是如何以连贯和可辩护的方式将相关信息和证据结合起来,以便制定和评估候选政策。决策者在处理生态系统服务等复杂、多方面、动态的环境中作出政策选择时,往往需要依赖具有不同专业知识领域的专家。影响蜜蜂(Apis mellifera)、野蜂和其他授粉者生存和授粉能力的压力已有详细记录,但不完整。为了评估各种支持授粉服务的候选政策的潜在有效性,迫切需要利用现有信息、模型和专家判断,量化各种变量组合对授粉生态系统服务的影响。在本文中,我们提出了一个新的应用集成决策支持系统的方法,结合多个专家小组的投入,以评估政策,以支持丰富的传粉者人口。
2022-12-05 cs.AI stat.AP stat.ME
Bayesian Predictive Decision Synthesis
该研究提出贝叶斯预测决策综合(BPDS)方法,以决策导向视角拓展模型不确定性研究,通过新颖的主观贝叶斯模型加权视角,将决策分析结果整合到多模型评估比较中,并在回归设计、金融预测等场景验证了有效性。
2023-05-05 math.ST stat.ME stat.TH