Inference in Hybrid Bayesian Networks Using Mixtures of Gaussians
University of Kansas(堪萨斯大学)
本文的主要目标是描述一种方法,在一般的混合贝叶斯网络(BN)(离散和连续的机会变量的混合)的精确推理。我们的方法包括近似一般的混合贝叶斯网络的混合高斯(MoG)BN。Lauritzen-Jensen(LJ)提出了一种在MoG贝叶斯网络中进行精确推理的快速算法,并给出了该算法的商业实现。然而,该算法只能用于MoG BN。这种网络的一些限制如下。所有连续的机会变量必须有条件线性高斯分布,离散的机会节点不能有连续的父母。本文所描述的方法将使我们能够使用LJ算法的更大的一类混合贝叶斯网络。这包括具有非高斯分布的连续机会节点的网络,对离散和连续变量的拓扑结构没有限制的网络,具有条件确定性变量的网络,这些变量是其连续父母的非线性函数,以及具有连续机会变量的网络,其方差是其父母的函数。
2012-06-27 cs.AI stat.ME
Bayesian Deep Learning for Convective Initiation Nowcasting Uncertainty Estimation
Department of Meteorology and Atmospheric Science, The Pennsylvania State University, University Park, Pennsylvania(气象学与大气科学系,宾夕法尼亚州立大学,大学公园,宾夕法尼亚州);National Center for Atmospheric Research, Boulder, Colorado(国家大气研究中心,博尔德,科罗拉多);Institute for Computational and Data Sciences, The Pennsylvania State University, University Park, Pennsylvania(计算与数据科学研究所,宾夕法尼亚州立大学,大学公园,宾夕法尼亚州);Department of Civil and Environmental Engineering, The Pennsylvania State University, University Park, Pennsylvania(土木与环境工程系,宾夕法尼亚州立大学,大学公园,宾夕法尼亚州)
本文评估五种贝叶斯深度学习方法在GOES-16卫星0-1小时对流初生临近预报中的不确定性估计能力,发现初始权重集成+MC dropout方法预报技巧和校准性最优,并针对贝叶斯ResNet集成优化困难问题引入贝叶斯-MOPED方法提升预报技巧。
2025-07-22 cs.AI physics.ao-ph
How to Combine Variational Bayesian Networks in Federated Learning
Istanbul Technical University(伊斯坦布尔理工大学)
联邦学习使多个数据中心能够协同训练一个中央模型,而不会暴露任何机密数据。尽管确定性模型能够执行高预测精度,但它们缺乏校准和量化不确定性的能力,这对于安全关键型应用来说是有问题的。与确定性模型不同,概率模型(如贝叶斯神经网络)相对校准良好,能够量化不确定性以及具有竞争力的预测精度。这两种方法都出现在联邦学习框架中;然而,确定性模型的聚合方案不能直接应用于概率模型,因为权重对应于分布而不是点估计。在这项工作中,我们研究了各种聚集方案的变分贝叶斯神经网络的效果。通过对三个图像分类数据集的实证结果,我们观察到聚合分布的扩散程度是学习过程中的一个重要因素。因此,我们提出了一个调查的问题,如何结合变分贝叶斯网络在联邦学习,同时提供不同的聚合设置的基准。
2022-11-23 cs.AI cs.LG
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University(斯坦福大学);NVIDIA(英伟达)
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题,但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置,并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现,我们可以充分捕捉模型的不确定性,只需使用几个贝叶斯层附近的网络输出,结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Ensemble-based Hybrid Optimization of Bayesian Neural Networks and Traditional Machine Learning Algorithms
University of California, Irvine(加州大学欧文分校)
本研究提出将贝叶斯神经网络与传统机器学习算法协同集成的优化方法,通过特征整合结合最优性二阶条件提升效果,验证了超参数调优对期望改进度作用有限,最终得到鲁棒的算法优化集成方案。
2023-10-09 cs.AI cs.LG
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO(荷兰应用科学研究组织);Utrecht University(乌得勒支大学);University of Amsterdam(阿姆斯特丹大学)
本文介绍了马尔可夫链蒙特卡罗(MCMC)推理方法Prune Sampling,并对它在离散和确定性贝叶斯网络(BN)中的性能进行了分析。我们开发了一个程序,以获得性能的MCMC采样方法在无限的模拟时间的限制,从相对较短的模拟外推。这种方法被用来进行一项研究,以比较准确性,收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法:吉布斯和大都会采样。我们发现,修剪采样创建的马尔可夫链总是收敛到所需的后验分布,也为传统的吉布斯抽样失败的网络。除此之外,我们证明了修剪优于吉布斯抽样,至少对于某一类BN。不过,这个诱人的功能是有代价的。在Prune Sampling的第一个版本中,对于大BN,统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是,修剪采样是所有类型的小型和中型BN的竞争力的方法,但(现在)标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO
An Experimental Comparison of Hybrid Algorithms for Bayesian Network Structure Learning
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);Université Lyon 1(里昂第一大学)
提出了一种新的贝叶斯网络结构学习的混合算法,称为混合HPC(H2 PC)。它首先重建贝叶斯网络的骨架,然后执行贝叶斯评分贪婪爬山搜索来定位边缘。它基于一个名为HPC的子例程,该子例程结合了增量和基于约束的分治方法的思想,以学习目标变量的父变量和子变量。我们对H2 PC与Max-Min Hill-Climbing(MMHC)进行了实验比较,MMHC是目前最强大的贝叶斯网络结构学习算法,在几个具有不同数据大小的基准测试中。我们的大量实验表明,H2 PC在对新数据的拟合优度和网络结构本身的质量方面都优于MMHC,它更接近数据的真实依赖结构。H2 PC的源代码(R)以及用于实证测试的所有数据集都是公开的。
2015-08-24 cs.AI cs.LG stat.ML
A Comprehensively Improved Hybrid Algorithm for Learning Bayesian Networks: Multiple Compound Memory Erasing
Northeastern University(东北大学)
利用贝叶斯网络来分析节点之间的因果关系是一个研究热点。现有的网络学习算法主要是基于约束和基于得分的网络生成方法。基于约束的方法主要是条件独立性(CI)检验的应用,但CI检验在高维小样本情况下的不准确性一直是基于约束的方法存在的问题。基于得分的方法利用得分函数和搜索策略寻找最优的候选网络结构,但搜索空间随着节点数的增加而增加过多,学习效率很低。本文提出了一种新的混合擦除算法MCME(multiple compound memory erasing)。该方法保留了前两种方法的优点,解决了上述CI测试的不足,并在方向判别阶段的评分函数上进行了创新。大量的实验表明,MCME具有优于或接近现有的一些算法的性能。
2022-12-05 cs.AI cs.LG
Free Energy Manifold: Score-Based Inference for Hybrid Bayesian Networks
ATOS Co., Ltd.(ATOS公司);C5I Center, George Mason University(乔治·马歇尔大学C5I中心)
本文提出自由能流形(FEM),一种用于混合贝叶斯网络推断的分数训练条件能量模型,通过能量叠加实现多连续变量的后验评估和生成采样。
2026-05-11 cs.AI cs.LG
Policy Optimization in Dynamic Bayesian Network Hybrid Models of Biomanufacturing Processes
Northeastern University(东北大学);University of Maryland(马里兰大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
生物制药制造业是一个快速增长的行业,几乎影响到所有的医药分支。生物制造过程需要密切监测和控制,在存在复杂的生物过程动态与许多相互依赖的因素,以及由于实验成本高以及个性化生物药物的新颖性而导致的数据极其有限的情况下。我们开发了一种新的基于基于模型的强化学习框架,可以在低数据环境中实现人类级别的控制。该模型使用动态贝叶斯网络来捕获因素之间的因果关系,并预测不同输入的影响如何通过生物过程机制的途径传播。这使得过程控制策略的设计既可解释又能抵御模型风险。我们提出了一个计算效率高,可证明收敛的随机梯度法优化这些政策。验证是在一个现实的应用程序与多维,连续的状态变量。
2022-07-24 cs.AI cs.LG
An Incremental Explanation of Inference in Hybrid Bayesian Networks for Increasing Model Trustworthiness and Supporting Clinical Decision Making
School of Electronic Engineering & Computer Science, Queen Mary University of London(伦敦玛丽女王大学电子工程与计算机科学学院);Centre for Trauma Sciences, Blizard Institute, Queen Mary University of London(伦敦玛丽女王大学布利扎德研究所创伤科学中心);Royal London Hospital, Barts and The London NHS Trust(皇家伦敦医院);Academic Department of Military Surgery and Trauma, Royal Centre for Defence Medicine(皇家国防医学中心军事外科与创伤学术部)
各种人工智能模型越来越多地被视为临床决策支持工具的一部分。然而,这种模型的可信度很少被考虑。如果临床医生能够理解并信任模型的预测,他们更有可能使用模型。关键是它的基本推理是否可以解释。贝叶斯网络(BN)模型的优点是它不是一个黑箱,它的推理可以解释。在本文中,我们提出了一种增量推理解释,可应用于混合BN,即同时包含离散节点和连续节点的BN。我们回答的关键问题是:(1)哪些重要证据支持或反驳预测,(2)信息通过哪些中间变量流动。解释说明使用一个真正的临床案例研究。还进行了一项小型评价研究。
2020-03-06 cs.AI cs.CL
A hybrid Bayesian network for medical device risk assessment and management
Queen Mary University of London(伦敦玛丽女王大学);Agena Ltd(阿格娜有限公司)
提出一种基于混合贝叶斯网络的医疗器械风险管理方法,克服FTA等传统方法在数据有限或存在二阶不确定性时的局限,并在除颤器设备上验证了其有效性。
2022-09-07 cs.AI cs.LG
Variational hybridization and transformation for large inaccurate noisy-or networks
Baidu Research(百度研究院)
变分推理为贝叶斯网络中难以计算的后验分布提供了近似。噪声或贝叶斯网络的一个突出的医学应用是根据观察到的症状来推断潜在的疾病。以往的研究主要集中在用变分变换来近似少数复杂的病理情况。我们的目标是使用变分变换作为一种新的混合推理的一部分,在网络规模上提供可靠和实时的诊断。我们提出了一种混合推理,允许变分参数估计没有疾病后验或先验,使推理速度更快,其计算可回收。此外,我们提出了一个转换排名算法,是非常稳定的网络先验概率,在贝叶斯网络的医疗应用中出现的一个常见问题的大方差。在实验中,我们对一个大型的现实生活中的医疗网络进行了比较研究,并对一个更大的(36,000倍)合成网络进行了可扩展性研究。
2016-05-20 cs.AI cs.LG stat.ML
Solving Hybrid Influence Diagrams with Deterministic Variables
University of Kansas(堪萨斯大学);School of Business(商学院)
我们描述了一个框架和一个算法,用于解决离散,连续和确定性的机会变量,离散和连续的决策变量的混合影响图。如果影响图中的连续机会变量的条件分布方差为零,则称其为确定性的。该求解算法是Shenoy离散影响图融合算法的扩展。我们描述了一个扩展的Shenoy-Shafer架构的离散,连续和实用潜力的混合影响图,包括确定性的机会变量的传播。通过两个小例子说明了算法和框架。
2012-03-15 cs.AI
Extension of Boolean algebra by a Bayesian operator; application to the definition of a Deterministic Bayesian Logic
这项工作有助于领域的布尔代数和贝叶斯概率,提出了一个代数扩张的布尔代数,实现了一个操作的贝叶斯条件推理,并在此操作下关闭。从Lewis的工作(Lewis' triviality)开始,人们就知道在事件空间中构造这样的条件算子是不可能的。然而,这项工作提出了一个答案,补充刘易斯的平凡,建设的条件运营商以外的空间的事件,从而导致一个代数扩张。特别地,证明了定义在布尔代数上的任何概率都可以按照条件概率的乘法定义,扩张到它的代数扩张上.本文最后在此代数扩张的基础上引入了一个新的二值逻辑,并得到了它的基本性质。
2011-12-15 cs.AI cs.LO math.LO
Deterministic Hallucination Detection in Medical VQA via Confidence-Evidence Bayesian Gain
Department of Electrical Engineering, Stanford University, CA, USA(电气工程系,斯坦福大学);Department of Biology, Stanford University, CA, USA(生物学系,斯坦福大学);Division of Cardiology, Department of Medicine, Stanford University, CA, USA(心脏病学部,医学系,斯坦福大学);Department of Biomedical Data Science, Stanford University, CA, USA(生物医学数据科学系,斯坦福大学);Department of Computer Science, Stanford University, CA, USA(计算机科学系,斯坦福大学);Department of Psychiatry and Behavioral Sciences, Stanford University, CA, USA(精神病学与行为科学系,斯坦福大学)
本文提出CEBaG方法,利用模型自身log概率中的不一致置信度和弱视觉证据敏感性,实现无需随机采样和外部模型的确定性幻觉检测,在医疗MLLM和VQA基准测试中取得最佳AUC表现。
2026-07-21 cs.AI
Regularized Offline Policy Optimization with Posterior Hybrid Bayesian Belief
Zhejiang University, Hangzhou, China(浙江大学)
提出后验混合贝叶斯信念(PhyB)以统一量化离线强化学习中的认知不确定性,并基于此开发迭代正则化策略优化算法,实现单调改进直至收敛。
2026-07-21 cs.AI cs.LG
Do Language Models Have Bayesian Brains? Distinguishing Stochastic and Deterministic Decision Patterns within Large Language Models
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Boson AI
该研究质疑语言模型决策完全基于概率采样的假设,发现其在一定条件下会呈现近确定性决策行为,还提出了区分两类决策模式的方法,为理解大模型决策机制提供新洞见。
2025-06-12 cs.AI cs.CL cs.LG
Hybrid Batch Bayesian Optimization
Oregon State University(俄勒冈州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯优化的目的是优化一个未知的非凸/凹函数,这是昂贵的评估。我们感兴趣的应用场景,并发功能评估是可能的。在这样的设置下,BO可以选择顺序地评估函数,一次一个输入,并在做出下一个选择之前等待函数的输出,或者一次评估一批多个输入的函数。这两种不同的设置通常称为贝叶斯优化的顺序和批处理设置。一般来说,顺序设置导致更好的优化性能,因为每个函数评估都是用更多的信息选择的,而批量设置在总实验时间(迭代次数)方面具有优势。在这项工作中,我们的目标是结合两种设置的优势。具体而言,我们系统地分析贝叶斯优化使用高斯过程作为后验估计,并提供了一个混合算法,根据当前状态,动态切换顺序策略和批量策略与可变批量大小。我们为我们的算法提供了理论依据,并在8个基准BO问题上给出了实验结果。结果表明,我们的方法实现了实质性的加速(高达%78)相比,一个纯粹的顺序的政策,没有遭受任何显着的性能损失。
2012-05-01 cs.AI cs.LG
Bayesian Conditional Generative Adverserial Networks
The University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);CMU(卡内基梅隆大学)
传统的GANs使用确定性生成器函数(通常是神经网络)将随机噪声输入$z$转换为采样器试图区分的样本$\mathbf{x}$。我们提出了一种新的GAN,称为贝叶斯条件生成对抗网络(BC-GAN),它使用随机生成器函数将确定性输入$y'$转换为样本$\mathbf{x}$。我们的BC-GANs将传统的GANs扩展到贝叶斯框架,并自然地处理无监督学习,监督学习和半监督学习问题。实验表明,所提出的BC-GANs优于最先进的。
2017-06-17 cs.AI cs.LG stat.ML
MissHDD: Hybrid Deterministic Diffusion for Hetrogeneous Incomplete Data Imputation
Deakin University(德克萨斯大学)
针对异构表格数据插补中单一扩散过程的局限性,提出混合确定性扩散框架MissHDD,通过双生成通道分别处理数值与分类/离散特征,在多种缺失类型设置下提升了插补精度与鲁棒性。
2025-11-18 cs.AI cs.LG
Deterministic PAC-Bayesian generalization bounds for deep networks via generalizing noise-resilience
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
超参数化深度网络的泛化能力与以下事实有关:随机梯度下降(SGD)在训练损失最小值中找到平坦、宽的最小值,其中网络的输出对添加到其参数中的小随机噪声具有弹性。到目前为止,这一观察仅用于为参数为\textit{stochastic}或\textit{compressed}的神经网络提供泛化保证。在这项工作中,我们提出了一个通用的PAC-Bayesian框架,该框架利用这一观察结果来提供对原始网络的约束-一个确定性和未压缩的网络。使我们能够做到这一点的是我们方法中的一个关键新颖性:我们的框架允许我们表明,如果在训练数据上,权重矩阵之间的相互作用满足某些条件,这些条件意味着广泛的训练损失最小值,这些条件本身{ \em泛化}到测试数据上矩阵之间的相互作用,从而意味着广泛的测试损失最小值。然后,我们在一个设置中应用我们的一般框架,其中我们假设网络的预激活值不太小(尽管我们仅在训练数据上假设这一点)。在这种设置中,我们为原始(确定性的,未压缩的)网络提供了一个泛化保证,该网络不随权重矩阵的谱范数的乘积而扩展-这是以前的方法不可能实现的保证。
2019-05-30 cs.AI cs.LG stat.ML
Bayesian Optimization over Hybrid Spaces
Washington State University(华盛顿州立大学)
我们考虑通过昂贵的黑盒函数评估优化混合结构(离散和连续输入变量的混合)的问题。这个问题出现在许多实际应用中。例如,在通过实验室实验进行的材料设计优化中,离散和连续变量分别对应于原始元素的存在/不存在及其相对浓度。关键的挑战是准确地建模离散和连续变量之间的复杂相互作用。在本文中,我们提出了一种新的方法称为混合贝叶斯优化(HyBO),利用扩散核,这是自然定义的连续和离散变量。我们开发了一个原则性的方法,通过利用添加剂的内核配方,它允许添加剂的所有订单的相互作用,在一个易于处理的方式在混合空间中构建扩散内核。从理论上分析了可加性混合核函数的建模强度,证明了它具有普适逼近性质。我们对合成和六个不同的现实世界基准的实验表明,HyBO显着优于国家的最先进的方法。
2021-06-08 cs.AI cs.LG math.OC
A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models
Hefei University of Technology(合肥工业大学);University of Delaware(特拉华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出贝叶斯混合参数高效微调方法,结合Adapter、LoRA和前缀微调并建模为分布,实现不确定性量化与动态适应,在业务任务上优于现有基线。
2025-07-31 cs.AI cs.LG
DiagnoLLM: A Hybrid Bayesian Neural Language Framework for Interpretable Disease Diagnosis
针对临床AI需兼具准确性与可解释性的需求,提出融合贝叶斯建模、eQTL引导深度学习与LLM叙事生成的DiagnoLLM框架,在AD检测中达88%准确率,可生成适配医患的可信诊断报告。
2025-11-16 cs.AI cs.CL cs.LG
Hybrid Car-Following Strategy based on Deep Deterministic Policy Gradient and Cooperative Adaptive Cruise Control
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学)
基于深度确定性策略梯度(DDPG)的车辆跟驰策略具有对复杂环境的探索能力,可以突破微分方程模型的约束。然而,DDPG的跟驰性能通常会因奖励函数设计不合理、训练不足和采样效率低而下降。为了解决这类问题,提出了一种基于DDPG和协同自适应巡航控制(CACC)的混合跟驰策略。首先,车辆跟驰过程被建模为马尔可夫决策过程,在每帧同时计算CACC和DDPG。给定当前状态,分别从CACC和DDPG获得两个动作。然后,一个最优的行动,对应于一个提供更大的奖励,选择作为混合策略的输出。同时,设计了一个规则,以确保加速度的变化率小于期望值。因此,该策略既保证了CACC的基本跟驰性能,又充分利用了DDPG在复杂环境下的探测优势。仿真结果表明,与DDPG和CACC相比,该策略的跟驰性能得到了改善。
2022-01-11 cs.AI cs.LG cs.SY
Bayesian Optimization Meets Hybrid Zero Dynamics: Safe Parameter Learning for Bipedal Locomotion Control
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提出了一个多域控制参数学习框架,结合贝叶斯优化(BO)和混合零动态(HZD)的双足机器人的运动控制。我们利用BO来学习基于HZD的控制器中使用的控制参数。学习过程首先部署在仿真中,以优化不同的控制参数,为一个大的剧目的步态。接下来,为了解决模拟与现实世界之间的差异,将学习过程应用于物理机器人,以学习对模拟中学习的控制参数的校正,同时还考虑步态稳定性的安全约束。该方法在真实世界中使用少量样本实现了有效的模拟到真实的转换,并且不需要有效的控制器来初始化仿真中的训练。我们提出的学习框架进行了实验部署和验证的双足机器人卡西执行多功能的运动技能,提高性能的平滑步行步态和减少稳态跟踪误差。
2022-03-04 cs.AI cs.RO cs.SY