Bayesian Optimization in Materials Science: A Survey
Center for Artificially Intelligent Manufacturing(智能制造人工智能中心);University of Wyoming(怀俄明大学)
贝叶斯优化被用于人工智能的许多领域,用于优化黑盒过程,并在许多应用中取得了令人印象深刻的进步。它可以智能地探索大型复杂的设计空间,同时最大限度地减少要优化的昂贵底层流程的评估数量。材料科学考虑优化材料性能的问题,给定一个大的设计空间,定义如何合成或处理它们,评估需要昂贵的实验或模拟-一个非常相似的设置。虽然贝叶斯优化也是解决此类问题的一种流行方法,但在研究相同概念的两个社区之间几乎没有重叠。我们提出了一个调查贝叶斯优化方法在材料科学,以增加交叉施肥,避免重复工作。我们强调共同的挑战和共同研究工作的机会。
2021-07-29 cond-mat.mtrl-sci cs.LG physics.comp-ph
Transfer Learning for Bayesian Optimization: A Survey
Beijing Institute of Technology(北京理工大学);Tencent Inc.(腾讯公司);Peking University(北京大学);Mila - Québec AI Institute(米拉 - 魁北克人工智能研究所)
广泛的设计和决策问题,包括参数调整,A/B测试和药物设计,本质上是黑箱优化的实例。贝叶斯优化(BO)是一个强大的工具,模型和优化这种昂贵的“黑盒”功能。然而,在优化的开始,香草贝叶斯优化方法往往遭受缓慢的收敛问题,由于不准确的建模基于少量的试验。为了解决这个问题,BO社区的研究人员提出将迁移学习的精神融入到优化过程中,这可以从过去的任务(源任务)中借用力量来加速当前的优化问题(目标任务)。本文首先从初始点设计、搜索空间设计、代理模型和获取函数四个方面总结了贝叶斯优化的迁移学习方法。然后,它强调了每种方法的方法学方面和技术细节。最后,它展示了广泛的应用,并提出了有前途的未来方向。
2023-02-12 cs.AI cs.LG
Query-Efficient and Scalable Black-Box Adversarial Attacks on Discrete Sequential Data via Bayesian Optimization
Seoul National University(首尔国立大学)
我们专注于对离散序列数据模型进行对抗攻击的问题,在黑盒设置中,攻击者的目标是制作对抗示例,对受害者模型进行有限的查询访问。现有的黑盒攻击,主要是基于贪心算法,发现敌对的例子使用预先计算的关键位置扰动,这严重限制了搜索空间,并可能导致次优的解决方案。为此,我们提出了一个查询高效的黑盒攻击,使用贝叶斯优化,动态计算重要的位置,使用自动相关性确定(ARD)分类内核。当输入序列变长时,我们引入块分解和历史子采样技术来提高贝叶斯优化的可扩展性。此外,我们开发了一个后优化算法,发现具有较小扰动大小的对抗性示例。在自然语言和蛋白质分类任务上的实验表明,与现有的方法相比,该方法具有更高的攻击成功率,查询次数和修改率显著降低.
2022-06-17 cs.CR cs.LG
Bayesian Optimization over Hybrid Spaces
Washington State University(华盛顿州立大学)
我们考虑通过昂贵的黑盒函数评估优化混合结构(离散和连续输入变量的混合)的问题。这个问题出现在许多实际应用中。例如,在通过实验室实验进行的材料设计优化中,离散和连续变量分别对应于原始元素的存在/不存在及其相对浓度。关键的挑战是准确地建模离散和连续变量之间的复杂相互作用。在本文中,我们提出了一种新的方法称为混合贝叶斯优化(HyBO),利用扩散核,这是自然定义的连续和离散变量。我们开发了一个原则性的方法,通过利用添加剂的内核配方,它允许添加剂的所有订单的相互作用,在一个易于处理的方式在混合空间中构建扩散内核。从理论上分析了可加性混合核函数的建模强度,证明了它具有普适逼近性质。我们对合成和六个不同的现实世界基准的实验表明,HyBO显着优于国家的最先进的方法。
2021-06-08 cs.AI cs.LG math.OC
Information-theoretic Bayesian Optimization: Survey and Tutorial
Universidad Pontificia Comillas(康普卢滕塞大学)
本文综述与教程介绍信息论贝叶斯优化,针对非凸黑箱函数优化问题,详述其基于高斯过程等代理模型及信息论采集函数的方法,覆盖复杂场景适配并指出研究方向。
2025-01-22 cs.AI cs.IT cs.LG
Bayesian Quality-Diversity approaches for constrained optimization problems with mixed continuous, discrete and categorical variables
ONERA(法国航空航天研究院);Université Paris – Saclay(巴黎-萨克雷大学)
针对混合变量约束优化问题,提出基于混合变量贝叶斯优化的质量-多样性方法,利用适应协方差模型和高斯过程补充策略,将计算成本降低多达两个数量级,并在航空航天等复杂系统设计中提供高效收敛和有价值的权衡方案。
2024-02-13 cs.LG math.OC
Radial Bayesian Neural Networks: Beyond Discrete Support In Large-Scale Bayesian Deep Learning
University of Oxford(牛津大学)
我们提出了径向贝叶斯神经网络(BNN):BNN的变分近似后验,它可以很好地扩展到大型模型,同时保持在权重空间上的分布,并得到充分的支持。其他可扩展的贝叶斯深度学习方法,如MC dropout或深度集成,具有离散支持-它们将零概率分配给几乎所有的权重空间。与这些离散支持方法不同,径向BNN的完全支持使其适合用作顺序推理的先验。此外,他们解决了概念上的挑战与离散支持的权重分布的先验难以置信。径向BNN的动机是避免采样问题的“平均场”变分推断(MFVI)所造成的所谓的“肥皂泡”病理的多变量高斯。我们表明,与MFVI不同,径向BNN对超参数具有鲁棒性,并且可以有效地应用于具有挑战性的现实医学应用,而无需进行特别调整和密集调整。事实上,在这种情况下,径向BNN的性能优于MC dropout等离散支持方法。最后,通过使用径向BNN作为MFVI的理论原则,强大的替代方案,我们在贝叶斯持续学习评估中取得了重大进展。
2021-05-31 cs.LG stat.ML
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology(K.N.托西理工大学);Polytechnique Montréal(蒙特利尔理工学院)
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比,离散贝叶斯网络的学习是一个具有挑战性的问题,由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络,很少有方法已经提出了离散的。在本文中,我们解决学习贝叶斯网络作为一个优化问题,并提出了一个得分函数,保证学习的结构是一个稀疏的有向无环图。此外,我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说,我们在优化算法中使用了方差减少方法,使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量,可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比,结果表明,我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Bayesian Learning for Neural Networks: an algorithmic survey
Aarhus University(奥胡斯大学)
在过去的十年里,人们对贝叶斯学习的兴趣越来越大。然而,除了将理论转化为实际实现的复杂性之外,该主题的技术性和其中涉及的众多成分限制了贝叶斯学习范式的使用,阻止了其在不同领域和应用中的广泛采用。这个独立的调查吸引并向读者介绍了神经网络的贝叶斯学习的原理和算法。它从一个可访问的,实用的算法的角度介绍了这个主题。在对贝叶斯神经网络进行一般性介绍后,我们讨论并提出了贝叶斯推断的标准和最新方法,重点是依赖于变分推断和使用自然梯度的解决方案。我们还讨论了使用流形优化作为贝叶斯学习的最先进方法。我们研究的所有讨论的方法的特性,并提供伪代码的实现,注意实际的方面,如计算的梯度。
2023-01-31 cs.LG stat.ML
Concentration and Confidence for Discrete Bayesian Sequence Predictors
Australian National University(澳大利亚国立大学)
贝叶斯序列预测是一种简单的技术,用于预测从可数字母表上的无限序列上的未知测量采样的未来符号。虽然已知预期累积误差的强界,但关于该误差的分布只有有限的结果。我们证明了严格的高概率界的累积误差,这是衡量的Kullback-Leibler(KL)的分歧。我们还考虑了问题的KL和Hellinger错误的构造上的置信区间类似于那些从Hoeffding样界的i.i.d.案子新的结果表明,贝叶斯序列预测可以用在知道它知道(KWIK)框架与边界匹配的最先进的。
2013-06-29 cs.LG stat.ML
BayesSum: Bayesian Quadrature in Discrete Spaces
Independent Researcher(独立研究者);University College London(伦敦大学学院);Lappeenranta--Lahti University of Technology LUT(拉佩兰塔-拉赫蒂技术大学LUT)
BayesSum通过高斯过程利用先验信息,在离散空间中实现更高效的贝叶斯求积,提升了样本效率和收敛速度。
2025-12-18 cs.LG stat.ML
Discrete Bayesian Sample Inference for Graph Generation
School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所);Listen Labs
本文提出GraphBSI,一种基于贝叶斯采样推断的图生成模型,通过在分布参数连续空间中迭代优化信念,有效处理离散结构,并在分子和合成图生成中取得最佳性能。
2026-04-13 cs.LG stat.ML
Bayesian Reinforcement Learning: A Survey
Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所);Technion(以色列理工学院);McGill University(麦吉尔大学);Berkeley(加州大学伯克利分校)
用于机器学习的贝叶斯方法已经得到了广泛的研究,产生了将先验信息纳入推理算法的原则性方法。在这次调查中,我们提供了一个深入的审查贝叶斯方法的作用的强化学习(RL)的范例。将贝叶斯推理纳入RL的主要动机是:1)它提供了一种优雅的方法来选择动作(探索/利用)作为学习中不确定性的函数; 2)它提供了一种将先验知识纳入算法的机制。我们首先讨论了简单单步Bandit模型中的贝叶斯推理模型和方法。然后,我们回顾了广泛的最近的文献贝叶斯方法基于模型的RL,先验信息可以表示的马尔可夫模型的参数。我们还提出了无模型RL的贝叶斯方法,其中先验表示的价值函数或政策类。本文的目的是提供一个全面的调查贝叶斯RL算法及其理论和经验性质。
2016-09-14 cs.AI cs.LG stat.ML
Bayesian Nonparametric Space Partitions: A Survey
School of Mathematics and Statistics, University of New South Wales(新南威尔士大学数学与统计学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
贝叶斯非参数空间划分(BNSP)模型提供了多种策略,用于将$D$维空间划分为一组块。通过这种方式,位于同一块中的数据点将共享某种同质性。BNSP模型可以应用于各种领域,如回归/分类树,随机特征构建,关系建模等。在本调查中,我们通过以下三个方面调查了BNSP研究的最新进展:模型,回顾了空间中生成分区的各种策略,并讨论了它们的理论基础“自洽性”;应用,其中包括当前的主流使用BNSP模型和他们的潜在的未来业务;和挑战,其中确定当前未解决的问题和有价值的未来研究课题。由于目前还没有对BNSP的文献进行全面的综述,我们希望通过本文的综述能够引起对这一课题的进一步探索和利用。
2021-02-28 cs.LG stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲,我们将逻辑函数转换为高斯函数,这有助于精确的推断,然后迭代地调整变分参数以提高近似的质量。我们通过实验证明,这种近似比采样更快,可能更准确。我们还介绍了一个简单的新技术来处理证据,这使我们能够处理观察到的节点上的任意分布,以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
Bayesian Neural Networks: An Introduction and Survey
Queensland University of Technology(昆士兰理工大学)
本文介绍贝叶斯神经网络及其实现方法,比较不同近似推断方法,探讨未来研究改进方向。
2026-04-18 cs.LG stat.ML
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley(加州大学伯克利分校)
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间,因此使用了各种近似方法。吉布斯抽样是最准确的方法之一,并提供无偏样本的后验,但它历来是太昂贵的大型模型。在本文中,我们提出了一个优化的,并行吉布斯采样增强状态复制(或状态增强边际估计),以减少收敛时间。我们发现,改进的参数估计的质量,同时加速收敛。合成和真实数据的实验表明,我们的吉布斯采样器是大大快于最先进的采样器,JAGS,而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器,以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Bayesian Automatic Relevance Determination for Utility Function Specification in Discrete Choice Models
Technical University of Denmark (DTU)(丹麦技术大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
效用函数是应用离散选择框架理解支配用户选择的行为过程的关键一步。然而,确定最好的模型和解释所观察到的选择的效用函数规格可能是一个非常具有挑战性和耗时的任务。本文旨在帮助建模者利用贝叶斯框架和自动相关性确定(ARD)的概念,以自动确定一个最佳的效用函数规范从一个指数级大的可能的规格在一个纯粹的数据驱动的方式。基于最新进展的近似贝叶斯推断,双随机变分推断的发展,这使得建议的DCM-ARD模型的规模非常大,高维数据集。使用半人工选择数据,所提出的方法被证明是非常准确地恢复真正的效用函数规范,管理观察到的选择。此外,当应用到真正的选择数据,DCM-ARD被证明能够发现高质量的规格,可以优于以前的文献根据多个标准,从而证明其实用性。
2019-06-10 cs.LG stat.ML
A survey of non-exchangeable priors for Bayesian nonparametric models
Dartmouth College(达特茅斯学院);Carnegie Mellon University(卡内基梅隆大学)
相依非参数过程扩展了测度上的分布,如狄利克雷过程和贝塔过程,以给出测度集合上的分布,通常由某些协变量空间中的值索引。当汇率假设不成立时,这样的模型是合适的先验,相反,我们希望我们的模型随着一些协变量的变化而变化。自MacEachern [1]提出相依非参数过程的概念以来,统计学和机器学习文献中提出并使用了许多模型。这些模型中有许多表现出潜在的相似性,我们希望对这些相似性的理解将有助于选择适当的先验,开发新模型和利用推理技术。
2012-11-20 cs.LG stat.ML
ABC-Di: Approximate Bayesian Computation for Discrete Data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
许多现实生活中的问题被表示为黑盒,即,内部工作是不可访问的,或者不能定义似然函数的封闭形式的数学表达式。对于连续随机变量,无似然推理问题可以通过近似贝叶斯计算(ABC)来解决。然而,对于离散随机变量的类似方法还有待于制定。我们的目标是填补这一研究空白。我们建议使用基于人口的MCMC ABC框架。此外,我们提出了一个有效的马尔可夫核,并提出了一个新的内核,是受差分进化。我们评估所提出的方法与已知的似然函数的问题,即,发现潜在的疾病的基础上QMR-DT网络,和三个似然无推理问题:(i)QMR-DT网络与未知的似然函数,(ii)学习二进制神经网络,和(iii)神经结构搜索。所得到的结果表明,所提出的框架和新的马尔可夫核的优越性的高潜力。
2020-10-19 cs.LG stat.ML
Learning Discrete Bayesian Networks from Continuous Data
Stanford University(斯坦福大学)
从原始数据中学习贝叶斯网络可以帮助深入了解变量之间的关系。虽然真实数据通常包含离散和连续值变量的混合,但许多贝叶斯网络结构学习算法假设所有随机变量都是离散的。因此,在学习贝叶斯网络时,连续变量经常被离散化。然而,离散化策略的选择对所得到的模型的准确性、速度和可解释性具有显著影响。针对贝叶斯网络中连续变量的离散化问题,提出了一种基于贝叶斯离散化原理的离散化方法,该方法具有二次复杂度,而不是其他标准方法中的三次复杂度。实验结果表明,该方法优于已有的最小描述长度算法。此外,本文还展示了如何将现有的方法融入到结构学习过程中,以离散化所有连续变量,同时学习贝叶斯网络结构。
2018-09-18 cs.AI cs.LG
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University(哥伦比亚大学)
对于深度离散潜变量模型,已经提出了几种近似推理方法。然而,非参数的方法,以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下,深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外,为了学习尺度不变的离散特征,我们提出了局部数据缩放变量。最后,为了鼓励我们表示的稀疏性,我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法,并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Bayesian Nonparametrics: An Alternative to Deep Learning
School of Electrical Engineering, Arizona State University(亚利桑那州立大学电气工程学院)
本综述系统阐述了贝叶斯非参数模型的理论基础与应用价值,重点展示其在多目标跟踪等复杂问题中作为深度学习替代方案的灵活性和有效性。
2024-03-29 cs.LG stat.ML
Deep Bayesian Active Learning, A Brief Survey on Recent Advances
West Virginia University(西弗吉尼亚大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
主动学习框架提供了有效的数据注释,而没有显著的准确性降低。换句话说,主动学习开始用少量的标记数据训练模型,同时探索未标记数据的空间,以便选择要标记的信息量最大的样本。一般来说,表示不确定性在任何主动学习框架中都是至关重要的,然而,深度学习方法不能表示或操纵模型的不确定性。另一方面,从现实世界的应用角度看,不确定性表示在机器学习界越来越受到关注。深度贝叶斯主动学习框架和通常任何贝叶斯主动学习设置在模型中提供实际考虑,其允许使用小数据进行训练,同时表示模型不确定性以用于进一步有效训练。在本文中,我们简要介绍了贝叶斯主动学习,特别是深度贝叶斯主动学习框架的最新进展。
2022-04-21 cs.LG
Robust Bayesian Inference for Discrete Outcomes with the Total Variation Distance
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所)
如果数据表现出零膨胀、过度分散或污染,离散值结果的模型很容易被错误指定。如果没有关于这种错误指定的存在和性质的额外知识,模型推理和预测会受到不利影响。在这里,我们介绍了一个强大的基于差异的贝叶斯方法,使用全变差距离(TVD)。在这个过程中,我们处理和解决两个挑战:首先,我们研究的收敛性和鲁棒性的计算效率的估计参数模型和数据生成机制之间的TVD。其次,我们提供了一种改编自Lyddon等人(2019)的有效推理方法,该方法对应于直接在数据生成机制上制定无信息的非参数先验。最后,我们通过经验证明,我们的方法是稳健的,并显着提高了一系列模拟和真实世界数据的预测性能。
2020-10-26 cs.LG stat.ME stat.ML
A Survey on Bayesian Deep Learning
Massachusetts Institute of Technology(麻省理工学院);Hong Kong University of Science and Technology(香港科技大学)
一个全面的人工智能系统不仅需要用不同的“感官”感知环境(例如,视觉和听觉),但也推断世界的条件(甚至因果)关系和相应的不确定性。在过去的十年中,许多感知任务取得了重大进展,例如使用深度学习模型的视觉对象识别和语音识别。然而,对于更高级别的推理,具有贝叶斯性质的概率图模型仍然更强大和灵活。近年来,贝叶斯深度学习已经成为一个统一的概率框架,将深度学习和贝叶斯模型紧密集成。在这个一般框架中,使用深度学习感知文本或图像可以提高更高级别推理的性能,反过来,推理过程的反馈能够增强文本或图像的感知。本综述全面介绍了贝叶斯深度学习,并回顾了其在推荐系统、主题模型、控制等方面的最新应用。此外,我们还讨论了贝叶斯深度学习与其他相关主题(如神经网络的贝叶斯处理)之间的联系和区别。有关不断更新的项目页面,请参阅https://github.com/js05212/BayesianDeepLearning-Survey。
2021-01-06 cs.AI cs.CV cs.LG
Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables
Carnegie Mellon University(卡内基梅隆大学)
最近开发的技术使得从低维连续空间中的数据快速学习精确的概率密度函数成为可能。特别是,混合高斯可以非常快地拟合数据使用加速EM算法,采用多分辨率kd树(摩尔,1999年)。在本文中,我们提出了一种贝叶斯网络,在该网络中,在域的变量的不同子集的高斯低维混合物被组合成一个连贯的联合概率模型在整个域。该网络还能够对离散变量和连续变量之间的复杂依赖关系进行建模,而不需要对连续变量进行离散化。我们提出了有效的启发式算法,从数据中自动学习这些网络,并进行比较实验,说明如何以及这些网络模型真实的科学数据和合成数据。我们还简要讨论了一些可能的改进网络,以及可能的应用。
2013-01-16 cs.AI cs.LG stat.ML
Learning-Augmented Ski Rental with Discrete Distributions: A Bayesian Approach
本文提出了一种基于贝叶斯方法的雪具租赁算法,结合离散分布和机器学习预测,实现先验依赖的竞争保证和鲁棒性,适用于多种预测场景。
2025-12-08 cs.DS cs.LG
Exact Bayesian Inference on Discrete Models via Probability Generating Functions: A Probabilistic Programming Approach
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本研究提出一种基于概率生成函数的离散模型精确贝叶斯推断方法,构建支持多种采样与条件操作的概率编程语言,开发全自动化工具Genfer,其速度优于现有精确推断工具,且在复杂问题上性能媲美近似蒙特卡洛方法且无近似误差。
2023-11-07 cs.LG cs.PL stat.CO
Generative Models as Adaptive Trust Regions for Discrete Bayesian Optimisation
University of Cambridge(剑桥大学);Monumo(莫诺莫公司);BigHat Biosciences(大帽生物科学公司);AstraZeneca(阿斯利康公司);Lancaster University(兰卡斯特大学)
针对离散贝叶斯优化的高维结构化对象挑战,提出GenTuRBO方法,用预训练生成器定义的自适应尺度提议分布替代几何信任域,在Ehrlich序列优化和Sokoban协同任务中获最高平均最终得分。
2026-10-14 cs.LG
Probabilistic Graphical Model using Graph Neural Networks for Bayesian Inversion of Discrete Structural Component States
Key Lab of Smart Prevention and Mitigation of Civil Engineering Disasters of the Ministry of Industry and Information Technology(工信部智能防灾减灾重点实验室);Harbin Institute of Technology(哈尔滨工业大学);Key Lab of Structures Dynamic Behavior and Control of the Ministry of Education, School of Civil Engineering, Harbin, Institute of Technology(教育部结构动力行为与控制重点实验室,土木工程学院);The Institute of Statistical Mathematics, Research Organization of Information and Systems(统计数学研究所,信息与系统研究机构);The Graduate University for Advanced Studies, SOKENDAI(高等研究大学,SOKENDAI);Division of Engineering and Applied Science, California Institute of Technology(工程与应用科学系,加州理工学院)
本文提出基于概率图模型的新型贝叶斯反演方法,利用图神经网络实现高效离散状态推断,解决高维参数和非解析似然函数带来的计算挑战。
2026-04-29 cs.LG stat.ME stat.ML
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
在这份报告中,我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验,并报告了我们的发现,并将其与论文中的结果进行了比较。代码链接:https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Bayesian Federated Learning: A Survey
University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学);University of New Castle(纽卡斯尔大学);University of Porto(波尔图大学);Nanyang Technological University(南洋理工大学);University of Minnesota(明尼苏达大学)
本文综述贝叶斯联邦学习,梳理其概念、与贝叶斯学习的关系及双重视角分类,比较各类方法优劣并指出局限与未来方向。
2023-04-26 cs.AI cs.DC cs.LG
Bayesian Flow Networks
NNAISENSE
本文提出贝叶斯流网络(BFNs),通过贝叶斯推断迭代更新独立分布与神经网络输出的相互依赖分布,无需前向过程即可实现生成建模,在图像和语言建模任务中取得有竞争力或领先的性能。
2025-03-11 cs.AI cs.LG
Incorporating uncertainty quantification into travel mode choice modeling: a Bayesian neural network (BNN) approach and an uncertainty-guided active survey framework
Tsinghua University(清华大学)
本文提出贝叶斯神经网络出行方式预测模型BTMP及不确定性引导的主动调查框架,通过量化预测不确定性并动态生成高不确定性调查问题,在减少20%至50%调查回答数量的同时实现与随机调查训练模型相当的性能。
2024-06-16 cs.AI cs.LG
Your Absorbing Discrete Diffusion Secretly Models the Bayesian Posterior
Cooper Doyle
本文证明离散扩散语言模型的去噪器在温和假设下能实现精确贝叶斯后验,并提出一种无需额外训练的推理时蒙特卡洛集成方法,通过多次去噪聚合后验均值与方差,在 WikiText-2 上实现了校准的不确定性估计与计算-保真度权衡。
2025-07-13 cs.AI cs.CL cs.LG
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO(荷兰应用科学研究组织);Utrecht University(乌得勒支大学);University of Amsterdam(阿姆斯特丹大学)
本文介绍了马尔可夫链蒙特卡罗(MCMC)推理方法Prune Sampling,并对它在离散和确定性贝叶斯网络(BN)中的性能进行了分析。我们开发了一个程序,以获得性能的MCMC采样方法在无限的模拟时间的限制,从相对较短的模拟外推。这种方法被用来进行一项研究,以比较准确性,收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法:吉布斯和大都会采样。我们发现,修剪采样创建的马尔可夫链总是收敛到所需的后验分布,也为传统的吉布斯抽样失败的网络。除此之外,我们证明了修剪优于吉布斯抽样,至少对于某一类BN。不过,这个诱人的功能是有代价的。在Prune Sampling的第一个版本中,对于大BN,统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是,修剪采样是所有类型的小型和中型BN的竞争力的方法,但(现在)标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO