Learning and Optimization with Bayesian Hybrid Models
贝叶斯混合模型将基于物理的见解与机器学习结构融合在一起,以纠正系统偏差。在本文中,我们比较贝叶斯混合模型对基于物理的玻璃盒和高斯过程黑箱代理模型。我们认为弹道射击作为一个说明性的案例研究贝叶斯决策工作流程。首先,进行贝叶斯校准以估计模型参数。然后,我们使用从贝叶斯分析的后验分布计算最佳的射击条件,通过一个单阶段的随机程序击中目标。该案例研究证明了贝叶斯混合模型克服系统偏差的能力,该系统偏差来自于与纯机器学习方法相比更少的数据。最后,我们认为贝叶斯混合模型是一个新兴的范例,数据知情的决策下参数和认知的不确定性。
2019-12-12 cs.SY eess.SY math.OC
Can I Trust My Fairness Metric? Assessing Fairness with Unlabeled Data and Bayesian Inference
Department of Computer Science(计算机科学系);Department of Cognitive Sciences University of California, Irvine(加州大学尔湾分校认知科学系)
我们调查的问题,可靠地评估组公平标记的例子很少,但未标记的例子很多。我们提出了一个通用的贝叶斯框架,可以用未标记的数据来增强标记的数据,以产生与仅基于标记数据的方法相比更准确且方差更低的估计。我们的方法估计未标记的例子在每个组中使用的分层潜变量模型标记的例子的条件下校准的分数。这反过来又允许推断后验分布与各种组公平性度量的不确定性的相关概念。我们证明,我们的方法导致显着和一致的减少估计误差在多个众所周知的公平数据集,敏感属性和预测模型。结果表明,使用未标记的数据和贝叶斯推断在评估预测模型是否公平方面的好处。
2020-10-19 cs.AI cs.LG stat.ML
Hybrid Parameter Search and Dynamic Model Selection for Mixed-Variable Bayesian Optimization
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对含连续、整数和分类变量的贝叶斯优化问题,提出 hybridM,将 MCTS/UCTS 与 GP 结合,并引入动态在线核选择,实验验证其优越性。
2024-01-19 cs.LG math.ST stat.ML
Bayesian Network Based Label Correlation Analysis For Multi-label Classifier Chain
Shenzhen University(深圳大学);University of Exeter(埃克塞特大学);City University of Hong Kong(香港城市大学)
分类器链(CC)是一种多标签学习方法,它根据标签顺序构造一系列二进制分类器。序列中的每个分类器负责预测一个标签的相关性。当训练分类器时,将继续进行的标签作为扩展特征。如果扩展特征与标签高度相关,则性能将得到改善,否则,性能不会受到影响甚至下降。如何发现标签相关性和确定标签顺序是CC方法的关键。本文采用贝叶斯网络(BN)对标签相关性进行建模,提出了一种新的基于贝叶斯网络的CC方法(BNCC)。首先,使用条件熵来描述标签之间的依赖关系。然后,以节点为标签,边的权值为依赖关系,建立BN。提出了一种新的评分函数来评价BN结构,并引入了一种启发式算法来优化BN。最后,通过对优化后的BN的节点进行拓扑排序,得到了构造CC模型的标号顺序。实验比较证明了该方法的可行性和有效性。
2019-08-06 cs.LG stat.ML
Variational hybridization and transformation for large inaccurate noisy-or networks
Baidu Research(百度研究院)
变分推理为贝叶斯网络中难以计算的后验分布提供了近似。噪声或贝叶斯网络的一个突出的医学应用是根据观察到的症状来推断潜在的疾病。以往的研究主要集中在用变分变换来近似少数复杂的病理情况。我们的目标是使用变分变换作为一种新的混合推理的一部分,在网络规模上提供可靠和实时的诊断。我们提出了一种混合推理,允许变分参数估计没有疾病后验或先验,使推理速度更快,其计算可回收。此外,我们提出了一个转换排名算法,是非常稳定的网络先验概率,在贝叶斯网络的医疗应用中出现的一个常见问题的大方差。在实验中,我们对一个大型的现实生活中的医疗网络进行了比较研究,并对一个更大的(36,000倍)合成网络进行了可扩展性研究。
2016-05-20 cs.AI cs.LG stat.ML
Approximate Inference Algorithms for Hybrid Bayesian Networks with Discrete Constraints
在本文中,我们考虑混合混合网络(HMN),这是混合贝叶斯网络,允许离散的确定性信息建模明确的形式的约束。我们提出了两个近似推理算法HMN集成和调整众所周知的算法原理,如广义置信传播,Rao-Blackwellised重要性采样和约束传播,以解决复杂的建模和推理HMN。我们证明了我们的近似推理算法随机生成的HMN的性能。
2012-07-04 cs.AI
Ensemble-based Hybrid Optimization of Bayesian Neural Networks and Traditional Machine Learning Algorithms
University of California, Irvine(加州大学欧文分校)
本研究提出将贝叶斯神经网络与传统机器学习算法协同集成的优化方法,通过特征整合结合最优性二阶条件提升效果,验证了超参数调优对期望改进度作用有限,最终得到鲁棒的算法优化集成方案。
2023-10-09 cs.AI cs.LG
Attention-Bayesian Hybrid Approach to Modular Multiple Particle Tracking
Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Centrale Med(中央马赛医学院)
针对高杂波多粒子跟踪中的轨迹组合爆炸问题,提出Transformer软关联剪枝与贝叶斯滤波结合的混合框架,提升精度及对虚假检测的鲁棒性。
2025-06-11 cs.LG stat.ML
Online Label Aggregation: A Variational Bayesian Approach
Delft University of Technology(代尔夫特理工大学);Tsinghua University(清华大学);ABB Research(ABB研究院)
对于众包内容来说,嘈杂的标记数据更像是一种常态,而不是罕见的。通过人群工作者的聚集结果来提取噪声并推断正确的标签是有效的。为了确保时间相关性并克服工人的缓慢响应,越来越多地要求在线标签聚合,需要能够通过数据项的子集增量地推断真实标签分布的解决方案。在本文中,我们提出了一种新的在线标签聚合框架,BiLA,它采用变分贝叶斯推理方法,并设计了一种新的随机优化方案的增量训练。BiLA是灵活的,以适应任何生成的标签分布的精确计算其后验分布。我们还推导出所提出的优化的收敛界。我们比较BiLA与最先进的最小最大熵,神经网络和期望最大化算法的基础上,合成和真实世界的数据集。我们对各种在线场景的评估结果表明,BiLA可以有效地推断真实标签,对于合成和真实世界的数据集,出错率分别降低至少10到1.5个百分点。
2020-11-15 cs.LG stat.ML
Bayesian Hybrid Matrix Factorisation for Data Integration
University of Cambridge(剑桥大学)
我们介绍了一种新的贝叶斯混合矩阵分解模型(HMF)的数据集成,结合多个矩阵分解方法,可用于在和外的矩阵预测缺失值的基础上。该模型非常通用,可用于集成不同实体类型的许多数据集,包括重复实验,相似性矩阵和非常稀疏的数据集。我们将我们的方法应用于两个生物应用程序,并将其与最先进的机器学习和矩阵分解模型进行了广泛的比较。对于药物敏感性数据集的矩阵预测,我们获得了比现有方法更好的性能。当我们增加数据集的稀疏性时,情况尤其如此。此外,我们对甲基化和基因表达数据集进行了矩阵外预测,并在三个数据集中的两个数据集上获得了最佳结果,特别是当数据集的预测性很高时。
2017-04-17 cs.LG stat.ML
Hybrid Bayesian Networks with Linear Deterministic Variables
University of Kansas(堪萨斯大学);Virginia Military Institute(弗吉尼亚军事学院)
当一个混合贝叶斯网络的条件确定性变量具有连续的父节点时,连续变量的联合密度函数不存在。条件线性高斯分布可以处理连续变量具有多变量正态分布且离散变量没有连续父变量的情况。在本文中,所需的操作进行推理与条件确定性变量的混合贝叶斯网络的发展。这些方法允许在具有确定性变量的网络中进行推断,其中连续变量可以是非高斯的,并且它们的密度函数可以由截断指数的混合来近似。对网络中连续和离散节点的放置没有限制。
2012-07-04 cs.AI
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine(加州大学欧文分校)
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下,迫切需要可靠地评估这些预先训练的模型的性能,并以标签有效的方式执行这种评估(考虑到标签可能稀缺且收集成本高)。在本文中,我们介绍了一种主动贝叶斯方法来评估分类器的性能,以满足desiderata的可靠性和标签效率。我们首先开发推理策略,以量化常见的评估指标,如准确性,误分类成本和校准误差的不确定性。然后,我们提出了一个通用的框架,主动贝叶斯评估使用推断的不确定性,以指导有效的选择标签的实例,使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验(例如,ResNet和BERT)在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
Variational Bayesian Inference for Crowdsourcing Predictions
IBM Research(IBM研究院)
众包已经成为执行许多机器学习任务的有效手段,例如图像和其他数据集的注释和标记。在大多数早期的众包环境中,任务涉及分类,即为每个任务分配一组离散标签中的一个。然而,最近已经尝试了更复杂的任务,包括要求众包工作人员分配连续标签或预测。本质上,这涉及使用众包进行功能估计。我们被这个问题所激励,去推动诸如协作预测之类的应用,也就是说,利用群众的智慧来更准确地预测数量。为此,我们提出了一种贝叶斯方法,专门针对减轻过拟合,一个典型的障碍,在实践中准确的预测模型。特别是,我们开发了一个变分贝叶斯技术两个不同的工人噪声模型-一个假设工人的噪声是独立的,另一个假设工人的噪声具有潜在的低秩结构。我们对合成和真实世界数据集的评估表明,这些贝叶斯方法的性能显着优于现有的非贝叶斯方法,因此可能对这类众包问题有用。
2020-06-02 cs.AI cs.LG stat.ML
Equivalence between hybrid CLs and bayesian methods for limit setting
讨论了混合CL法和平衡法在极限设定中的关系。结果表明,这两种方法是等效的,在单通道的情况下,即使背景产量是不完全知道。本文件仅考虑计数实验。
2014-04-04 stat.ME
A Comprehensively Improved Hybrid Algorithm for Learning Bayesian Networks: Multiple Compound Memory Erasing
Northeastern University(东北大学)
利用贝叶斯网络来分析节点之间的因果关系是一个研究热点。现有的网络学习算法主要是基于约束和基于得分的网络生成方法。基于约束的方法主要是条件独立性(CI)检验的应用,但CI检验在高维小样本情况下的不准确性一直是基于约束的方法存在的问题。基于得分的方法利用得分函数和搜索策略寻找最优的候选网络结构,但搜索空间随着节点数的增加而增加过多,学习效率很低。本文提出了一种新的混合擦除算法MCME(multiple compound memory erasing)。该方法保留了前两种方法的优点,解决了上述CI测试的不足,并在方向判别阶段的评分函数上进行了创新。大量的实验表明,MCME具有优于或接近现有的一些算法的性能。
2022-12-05 cs.AI cs.LG
Free Energy Manifold: Score-Based Inference for Hybrid Bayesian Networks
ATOS Co., Ltd.(ATOS公司);C5I Center, George Mason University(乔治·马歇尔大学C5I中心)
本文提出自由能流形(FEM),一种用于混合贝叶斯网络推断的分数训练条件能量模型,通过能量叠加实现多连续变量的后验评估和生成采样。
2026-05-11 cs.AI cs.LG
Bayesian Crowdsourcing with Constraints
University of Minnesota(明尼苏达大学)
众包已经成为一种强大的范例,通过利用大量的人类注释者来有效地标记大型数据集并执行各种学习任务。当关于数据的附加信息可用时,增强来自人类注释者的标签聚合的半监督众包方法是很好的动机。这项工作涉及半监督众包分类,在两种半监督制度下:a)标签约束,为数据子集提供地面真实标签; b)可能更容易获得实例级约束,指示数据对之间的关系。贝叶斯算法的基础上变分推理的发展,为每个政权,和他们的量化改进的性能,相比无监督众包,分析和经验验证了几个众包数据集。
2021-07-16 cs.LG stat.ML
Nonparametric Bayesian label prediction on a large graph using truncated Laplacian regularization
本文描述了一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。我们考虑一个分层贝叶斯方法与前,通过截断一系列扩展的软标签函数使用图形拉普拉斯特征函数作为基函数。我们比较我们的截断之前的未截断的拉普拉斯算子为基础的模拟和真实数据的例子,以说明改进的可扩展性方面的基础图形的大小。
2018-04-13 stat.CO stat.ML
Inference in Hybrid Bayesian Networks Using Mixtures of Gaussians
University of Kansas(堪萨斯大学)
本文的主要目标是描述一种方法,在一般的混合贝叶斯网络(BN)(离散和连续的机会变量的混合)的精确推理。我们的方法包括近似一般的混合贝叶斯网络的混合高斯(MoG)BN。Lauritzen-Jensen(LJ)提出了一种在MoG贝叶斯网络中进行精确推理的快速算法,并给出了该算法的商业实现。然而,该算法只能用于MoG BN。这种网络的一些限制如下。所有连续的机会变量必须有条件线性高斯分布,离散的机会节点不能有连续的父母。本文所描述的方法将使我们能够使用LJ算法的更大的一类混合贝叶斯网络。这包括具有非高斯分布的连续机会节点的网络,对离散和连续变量的拓扑结构没有限制的网络,具有条件确定性变量的网络,这些变量是其连续父母的非线性函数,以及具有连续机会变量的网络,其方差是其父母的函数。
2012-06-27 cs.AI stat.ME
Policy Optimization in Dynamic Bayesian Network Hybrid Models of Biomanufacturing Processes
Northeastern University(东北大学);University of Maryland(马里兰大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
生物制药制造业是一个快速增长的行业,几乎影响到所有的医药分支。生物制造过程需要密切监测和控制,在存在复杂的生物过程动态与许多相互依赖的因素,以及由于实验成本高以及个性化生物药物的新颖性而导致的数据极其有限的情况下。我们开发了一种新的基于基于模型的强化学习框架,可以在低数据环境中实现人类级别的控制。该模型使用动态贝叶斯网络来捕获因素之间的因果关系,并预测不同输入的影响如何通过生物过程机制的途径传播。这使得过程控制策略的设计既可解释又能抵御模型风险。我们提出了一个计算效率高,可证明收敛的随机梯度法优化这些政策。验证是在一个现实的应用程序与多维,连续的状态变量。
2022-07-24 cs.AI cs.LG
Exploring a Hybrid Deep Learning Approach for Anomaly Detection in Mental Healthcare Provider Billing: Addressing Label Scarcity through Semi-Supervised Anomaly Detection
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院);Department of Computer Science and Technology, SUNY Empire State University(SUNY埃默里州立大学计算机科学与技术系)
本文针对心理健康医疗账单异常检测中标签稀缺和类别不平衡问题,提出结合LSTM与Transformer的混合深度学习方法,并利用孤立森林和自编码器生成伪标签,在真实账单数据集上验证了该方法在召回率方面的有效性。
2025-07-02 cs.AI cs.LG
Nonparametric Bayesian label prediction on a graph
一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。被认为是一个随机缩放高斯先验的分层贝叶斯方法。先验使用图拉普拉斯算子来考虑图的底层几何形状。提出了一种基于理论上最优先验的方法和一种更灵活的利用部分共轭的方法。两个模拟数据的例子和两个例子,使用真实数据,以说明所提出的方法。
2017-06-15 stat.CO stat.ML
Bayesian nonparametric modeling for predicting dynamic dependencies in multiple object tracking
Arizona State University(亚利桑那州立大学)
多目标跟踪中的一些挑战性问题包括时间依赖的基数、无序测量和目标参数标记。在本文中,我们采用贝叶斯贝叶斯非参数方法来解决这些挑战。特别是,我们建议建模的多个对象参数状态之前使用依赖的Dirichlet和Pitman-Yor过程。这些非参数模型已被证明是更灵活和强大的,当与现有的方法相比,用于估计随时间变化的对象数量,提供对象标记和识别测量对象的关联。然后提出了蒙特卡罗采样方法,以有效地学习对象的轨迹从噪声测量。使用模拟,我们证明了新方法的估计性能优势相比,现有的算法,如广义标记多伯努利滤波器。
2020-04-22 cs.LG stat.ML
Bayesian Networks based Hybrid Quantum-Classical Machine Learning Approach to Elucidate Gene Regulatory Pathways
Army Research Laboratory(陆军研究实验室);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
我们报告了一个可扩展的混合量子经典机器学习框架,以建立贝叶斯网络(BN),捕捉随机变量的条件依赖和因果关系。BN的生成包括找到与给定数据集一致的节点的有向无环图(DAG)和相关联的联合概率分布。这是底层图的结构学习的组合问题,从单个节点开始,每次构建一个弧,使用最大似然估计(MLE)拟合给定的集合。它被铸造成一个优化问题,包括一个评分步骤上执行的经典计算机,处罚的无环性和父母允许的约束,并使用量子退火器实现搜索步骤。我们已经假设统一的先验在推导贝叶斯网络,可以放松制定的问题作为一个估计狄利克雷参数。我们证明了该框架的实用性,通过应用于阐明人类T细胞中MAPK/Raf通路的基因调控网络的问题,使用蛋白质组学数据,其中蛋白质的浓度,BN的节点,被解释为概率。
2019-01-23 cs.LG quant-ph stat.ML
A hybrid Bayesian network for medical device risk assessment and management
Queen Mary University of London(伦敦玛丽女王大学);Agena Ltd(阿格娜有限公司)
提出一种基于混合贝叶斯网络的医疗器械风险管理方法,克服FTA等传统方法在数据有限或存在二阶不确定性时的局限,并在除颤器设备上验证了其有效性。
2022-09-07 cs.AI cs.LG
Learning beyond Predefined Label Space via Bayesian Nonparametric Topic Modelling
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在现实世界的机器学习应用程序中,测试数据可能包含一些有意义的新类别,这些类别在标记的训练数据中尚未出现。为了同时识别新的数据类别并为实际来自已知类别的数据分配最合适的类别标签,现有模型假设未知新类别的数量是预先指定的,尽管很难提前确定。在本文中,我们提出了一个贝叶斯非参数主题模型来自动推断这个数字,基于层次Dirichlet过程和潜在Dirichlet分配的概念。精确推理在我们的模型是棘手的,所以我们提供了一个有效的折叠吉布斯抽样算法的近似后验推理。在不同文本数据集上的大量实验表明:(a)与使用预先指定的新类别真实数量的参数方法相比,所提出的非参数方法可以产生相当的性能;(b)当新类别的确切数量不可用时,即参数方法对新类别只有一个粗略的概念,我们的方法具有明显的性能优势。
2019-10-10 cs.LG stat.ML
Bayesian Meta-Learning Through Variational Gaussian Processes
Stanford University(斯坦福大学)
元学习领域的最新进展已经解决了由大量小(“Few-Shot”)监督学习任务组成的领域。元学习算法必须能够快速适应任何单个的Few-Shot任务,适应任务中的小支持集,并使用它来预测任务查询集的标签。这个问题设置可以扩展到贝叶斯上下文,其中不是为每个查询数据点预测单个标签,而是模型预测捕获其不确定性的标签分布。这一领域的成功方法包括基于MAML的模型的贝叶斯集成、贝叶斯神经网络和具有学习的深度核和均值函数的高斯过程。虽然高斯过程在元学习上下文中具有鲁棒的贝叶斯解释,但它们并不自然地对用于表达不确定性的非高斯预测后验进行建模。在本文中,我们设计了一个理论上的原则性方法,VMGP,扩展高斯过程为基础的元学习,允许高质量,任意非高斯不确定性预测。在具有复杂非光滑或不连续结构的基准环境中,我们发现我们的VMGP方法的性能明显优于现有的贝叶斯元学习基线。
2021-10-21 cs.LG stat.ML
Bayesian prediction of minimal repair times of a series system based on hybrid censored sample of components' lifetimes under Rayleigh distribution
在本文中,我们开发了贝叶斯预测推理程序预测的维修时间的串联系统,应用最小的修复策略,使用包含在一个独立的观察混合截尾样本的寿命系统的组件,假设潜在的分布的寿命是瑞利分布的信息。一个说明性的真实数据的例子和模拟研究的目的,说明和比较所提出的预测。
2015-05-24 math.ST stat.TH
Gaussian Mixture Reduction for Time-Constrained Approximate Inference in Hybrid Bayesian Networks
George Mason University(乔治梅森大学)
混合贝叶斯网络(HBN)包含离散和连续变量,在许多应用领域(例如,图像理解、数据融合、医疗诊断、欺诈检测)。本文研究了HBN的一个重要子类--条件高斯网络(CG)中的推理问题,其中所有连续随机变量都具有高斯分布,并且连续随机变量的所有子节点都必须是连续的。CG网络中的推理即使对于特殊情况的结构也可能是NP难的,例如poly-tree,其中离散贝叶斯网络中的推理可以在多项式时间内执行。因此,需要近似推理。在近似推理中,经常需要在精度和求解时间之间进行权衡。本文提出了一种扩展的混合消息传递推理算法一般CG网络和算法,以优化其准确性给定的计算时间的限制。扩展算法使用高斯混合减少,以防止高斯混合成分的数量呈指数增长。权衡算法执行预处理,以找到扩展算法的最佳运行时设置。四个CG网络的实验结果与现有算法的扩展算法的性能进行比较,并显示这些CG网络的最佳设置。
2018-06-06 cs.AI
Toward Optimal Probabilistic Active Learning Using a Bayesian Approach
University of Kassel(卡塞尔大学);Utrecht University(乌得勒支大学)
收集标记数据以训练性能良好的机器学习模型是许多应用中的关键挑战之一。主动学习旨在通过高效和有效地分配昂贵的标签资源来降低标签成本。在这篇文章中,我们提出了一个决策理论的选择策略,(1)直接优化误分类误差的增益,(2)使用贝叶斯方法,通过引入共轭先验分布来确定类后验来处理不确定性。通过在我们提出的模型中重新制定现有的选择策略,我们可以解释哪些方面在当前最先进的技术中没有涵盖,以及为什么这会导致我们的方法具有优异的性能。大量的各种数据集和不同的内核上的实验验证了我们的主张。
2020-06-02 cs.LG stat.ML
A Hybrid Algorithm to Compute Marginal and Joint Beliefs in Bayesian Networks and Its Complexity
贝叶斯网络中概率更新的精确算法一般有两种形式。第一种方法涉及使用结构,通常是团树,并执行基于本地消息的计算来提取每个变量的信念。第二类一般算法涉及使用非串行动态规划技术来提取对某些期望的变量组的信任。在本文中,我们提出了一种混合算法的基础上,后者的方法,但拥有检索的能力,在所有单变量的信念。该技术的优点在于,它节省了一个NP难的计算步骤,而不是使用每种类型的一个算法。此外,这种技术再次加强了Jensen和Jensen [JJ 94]的猜想,因为它仍然需要一个单一的NP-困难步骤来建立进行推理的结构,正如我们通过确认Li和D 'Ambrosio [LD 94]证明的OFP的NP-困难。
2013-01-30 cs.AI
Being Bayesian about Categorical Probability
ESTsoft
神经网络利用softmax作为分类任务的构建块,其包含过度自信问题并且缺乏不确定性表示能力。作为softmax的贝叶斯替代方案,我们考虑类标签上分类概率的随机变量。在这个框架中,先验分布显式地对观察到的标签中固有的假定噪声进行建模,这在多个具有挑战性的任务中提供了一致的泛化性能增益。该方法继承了贝叶斯方法的优点,实现了更好的不确定性估计和模型校准。我们的方法可以实现为一个即插即用的损失函数,与具有交叉熵损失函数的softmax相比,其计算开销可以忽略不计。
2020-06-29 cs.LG stat.ML
Bayesian identification of protein differential expression in multi-group isobaric labelled mass spectrometry data
在本文中,我们开发了贝叶斯统计推断的方法,在多个实验的同量异位素标记的MS/MS蛋白质组数据的统一分析。开发了跨多个预定义组和实验的同量异位素标记的报告离子的对数强度的显式概率模型。然后,这被用来开发一个完整的贝叶斯统计方法学的差异表达的蛋白质的鉴定,相对于对照组,在多个组和实验。该方法被实施,然后在模拟数据和使用TMT标记协议的两个模型实验数据集(其中差异表达的蛋白质是已知的)上进行评估。
2014-07-24 q-bio.QM stat.AP
No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations
The Ohio State University(俄亥俄州立大学)
针对噪声观测下昂贵混合模型的约束全局优化问题,提出约束上分位数界(CUQB)方法,利用复合结构与可微近似提升采样效率,提供次线性收敛保证与不可行性检测,数值实验证明其优于传统贝叶斯优化。
2023-07-28 cs.LG stat.ML
Hybrid Bayesian Estimation in the additive hazards model
针对右删失数据下的半参数加性风险模型,提出一种结合Lin-Ying估计方程的混合贝叶斯估计方法,获得闭式后验估计量,并通过模拟和Nickels矿工数据集验证。
2025-05-27 math.ST stat.ME stat.TH
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Structure Learning for Hybrid Bayesian Networks
贝叶斯网络已被用作以灵活但可解释的方式表示多个随机变量的联合分布的机制。学习贝叶斯网络结构的一个主要挑战是如何对包括连续和离散随机变量的混合的网络(称为混合贝叶斯网络)进行建模。本文综述了文献的方法来处理混合贝叶斯网络。通常采取两种方法之一:或者认为数据具有为离散和连续变量的混合设计的联合分布,或者将连续随机变量离散化,从而产生离散贝叶斯网络。在本文中,我们提出了一种策略,所有的随机变量建模为高斯,简称为{ \it运行它高斯(RAG)}。我们证明,RAG结果在更可靠的估计图结构的理论和模拟研究,比转换连续随机变量离散。这两项战略也都在儿童肥胖数据集上实施。两种不同的策略在最优图结构上产生了显著的差异,仿真研究的结果表明我们的策略更可靠。
2022-12-04 stat.CO stat.ME
Bayesian uncertainty-aware deep learning with noisy labels: Tackling annotation ambiguity in EEG seizure detection
Department of Electrical and Computer Engineering, Johns Hopkins University(约翰霍普金斯大学电气与计算机工程系);Department of Electrical and Computer Engineering, Boston University(波士顿大学电气与计算机工程系)
本文提出BUNDL算法,通过整合领域知识和贝叶斯框架,设计基于KL散度的损失函数,提升EEG癫痫检测的鲁棒性,验证了其在噪声标签下的有效性及跨机构泛化能力。
2026-01-05 cs.LG eess.SP stat.ML
Hybrid Geometry-Adaptive MCMC for Bayesian Inference in Higher-Order Ising Models
Brigham Young University(杨百翰大学)
我们解决的平均场伊辛模型与两个和三体相互作用的逆问题,使用贝叶斯框架。在这种情况下,参数恢复是出了名的困难,特别是在相变附近,在临界状态下,并根据非可识别性,传统的估计和标准MCMC采样失败。为了克服这些挑战,我们开发了一种混合算法,结合自适应大都会黑斯廷斯几何感知黎曼流形哈密顿动力学。这种方法在三维参数空间中产生显著改善的混合和收敛。通过在代表性制度的模拟实验,我们表明,该方法实现了准确的密度重建和可靠的不确定性量化,即使在现有的方法是不稳定或不适用的设置。
2025-10-31 cond-mat.stat-mech stat.ME
A Hybrid Gradient Method to Designing Bayesian Experiments for Implicit Models
Oak Ridge National Laboratory(橡树岭国家实验室)
贝叶斯实验设计(Bayesian experimental design,BED)旨在设计一个实验,以最大限度地从收集的数据中收集信息。优化设计通常通过最大化数据和模型参数之间的互信息(MI)来实现。当MI的解析表达式不可用时,例如,摘要针对隐式模型数据分布复杂的问题,提出了一种基于神经网络的MI下界,并采用梯度上升法来最大化该下界。然而,Kleinegesse等人的方法,2020需要一个路径采样路径来计算MI下限相对于设计变量的梯度,并且这种路径采样路径通常对于隐式模型是不可访问的。在这项工作中,我们提出了一种混合梯度方法,利用最新的进展,变分MI估计和演化策略(ES)结合黑箱随机梯度上升(SGA),以最大限度地提高MI下限。这使得设计过程可以通过一个统一的可扩展的隐式模型,没有采样路径梯度的过程来实现。几个实验表明,我们的方法显着提高了高维设计空间中的隐式模型的BED的可扩展性。
2021-03-14 cs.LG stat.ME stat.ML
A Bayesian explanation of machine learning models based on modes and functional ANOVA
Honeywell International(霍尼韦尔国际公司)
本文提出一种基于贝叶斯框架和函数ANOVA分解的逆解释方法,通过特征距离排序解释标签偏差,相比SHAP更直观稳健,且额外成本与维度无关。
2024-11-05 cs.AI cs.LG stat.CO
A Bayesian Approach to Segmentation with Noisy Labels via Spatially Correlated Distributions
Tohoku University(东北大学);Preferred Networks, Inc.(Preferred Networks公司)
本文提出一种基于概率模型的贝叶斯方法,通过空间相关分布处理带噪声标签的分割问题,提升模型性能。
2025-11-13 cs.CV cs.LG eess.IV
Bayesian frequentist hybrid inference
贝叶斯和频率论方法在许多方面不同,但共享一些基本的最优性属性。在实践中,有些情况下,根据某些标准,其中一种方法更可取。我们考虑的情况下,一组多个参数,可以分为两个不相交的子集的推断。在一个集合上,频率论方法可能会受到青睐,而在另一个集合上,贝叶斯方法可能会受到青睐。这促使一个联合估计过程中,一些参数估计贝叶斯,其余的最大似然估计在同一参数模型,从而保持这两种方法的优点,避免他们的弱点。这样的混合过程使我们在实现整体推理优势方面具有更大的灵活性。我们研究了估计量的相合性和高阶渐近性,并举例说明了它的应用。同时,这些结果也为客观先验的构造提供了一种新的方法。
2009-08-24 math.ST stat.TH
A new Bayesian ensemble of trees classifier for identifying multi-class labels in satellite images
Acadia University(阿卡迪亚大学)
卫星图像分类是许多遥感应用的关键组成部分。原始卫星图像最重要的产品之一是分类地图,它将图像像素标记为有意义的类别。虽然到目前为止已经开发了几种参数和非参数分类器,但像素的准确标记仍然是一个挑战。在本文中,我们提出了一个新的可靠的多类分类器识别类标签的卫星图像在遥感应用。建议的多类分类器是一个广义的二元分类器的基础上的灵活集成的回归树模型称为贝叶斯加性回归树(BART)。我们使用了三个小区域的LANDSAT 5 TM图像,收购于2009年8月15日(路径/行:08/29,L1 T产品,UTM地图投影)在国王县,新斯科舍省,加拿大的土地利用分类。几个预测精度和不确定性的措施已被用来比较的可靠性,建议的分类与国家的最先进的遥感分类。
2013-05-31 cs.CV cs.LG stat.ME
An Incremental Explanation of Inference in Hybrid Bayesian Networks for Increasing Model Trustworthiness and Supporting Clinical Decision Making
School of Electronic Engineering & Computer Science, Queen Mary University of London(伦敦玛丽女王大学电子工程与计算机科学学院);Centre for Trauma Sciences, Blizard Institute, Queen Mary University of London(伦敦玛丽女王大学布利扎德研究所创伤科学中心);Royal London Hospital, Barts and The London NHS Trust(皇家伦敦医院);Academic Department of Military Surgery and Trauma, Royal Centre for Defence Medicine(皇家国防医学中心军事外科与创伤学术部)
各种人工智能模型越来越多地被视为临床决策支持工具的一部分。然而,这种模型的可信度很少被考虑。如果临床医生能够理解并信任模型的预测,他们更有可能使用模型。关键是它的基本推理是否可以解释。贝叶斯网络(BN)模型的优点是它不是一个黑箱,它的推理可以解释。在本文中,我们提出了一种增量推理解释,可应用于混合BN,即同时包含离散节点和连续节点的BN。我们回答的关键问题是:(1)哪些重要证据支持或反驳预测,(2)信息通过哪些中间变量流动。解释说明使用一个真正的临床案例研究。还进行了一项小型评价研究。
2020-03-06 cs.AI cs.CL
MLCBART: Multilabel Classification with Bayesian Additive Regression Trees
Simon Fraser University(西蒙菲莎大学);Acadia University(阿卡迪亚大学)
MLCBART通过贝叶斯加法回归树模型,有效处理多标签分类问题,提升预测精度并提供不确定性量化。
2026-01-13 stat.ME stat.ML
Optimal variable acceptance sampling plan for exponential distribution using Bayesian estimate under Type I hybrid censoring
本文针对指数寿命产品在I型混合截尾下,提出基于贝叶斯估计的变量验收抽样方案,通过平方误差损失和Linex损失函数优化检验成本,实验表明其期望成本显著低于传统最大似然估计方案。
2023-11-28 math.ST stat.TH
Bayesian Inference for Hybrid Discrete-Continuous Stochastic Kinetic Models
我们考虑的问题,有效地进行模拟和推理的随机动力学模型。虽然可以直接使用所得的马尔可夫跳跃过程,但对于现实规模和复杂性的网络,计算成本可能过高。在本文中,我们考虑一种推理方案的基础上,一种新的混合动力模拟器,分类反应为“快”或“慢”的快速反应演变为一个连续的马尔可夫过程,而其余的慢反应发生建模通过马尔可夫跳跃过程与时间相关的危险。采用快速反应动力学的线性噪声近似(LNA),并通过利用求解驱动LNA的随机微分方程的能力来捕获慢反应事件。该模拟过程被用作粒子MCMC方案内的建议机制,从而允许模型参数的贝叶斯推断。我们将该计划应用到一个简单的应用程序,并与现有的混合方法和一个计划进行推理的基础离散随机模型的输出进行比较。
2014-02-26 stat.CO
Stacking Factorizing Partitioned Expressions in Hybrid Bayesian Network Models
Capital University of Economics and Business(首都经济贸易大学);Queen Mary, University of London(伦敦玛丽女王大学)
针对混合贝叶斯网络中分区表达式CPD规模随父节点指数增长的问题,本文提出堆叠分解(SF)算法,通过中间节点逐步重建密度以限制连续父节点数量,并与二元分解(BF)结合显著减小CPD规模、降低树宽并提升推理效率。
2024-02-23 cs.AI
Bayesian reliability acceptance sampling plan with optional warranty under hybrid censoring
本文针对可选保修下销售的产品,提出在混合删失寿命试验中设计贝叶斯可靠性验收抽样方案,通过消费者与制造商的先验信念差异和保修博弈,确定最优寿命试验方案。
2024-02-14 stat.AP
Bayesian, classical and hybrid methods of inference when one parameter value is special
本文考虑的问题,使统计推断的参数时,一个狭窄的区间集中在一个给定的参数值被认为是特殊的,这是解释为意味着有相当程度的先验信念,参数的真实值在于这个区间。这一问题的实际重要性提供了一个明确的理由。本文讨论了标准贝叶斯方法解决这一问题的主要困难,并通过灵敏度分析确定参数在特定区间内的后验概率的下极限,提出了一种伪贝叶斯方法。由于它不是假设先验信念一定需要表示在先验概率,也不是后数据概率必须是贝叶斯后验概率,混合推理方法也提出了基于测量和解释的经典概念的显着性的具体方式。所概述的各种方法在基础水平上进行了比较和对比,并从实用的角度将其应用于一篇知名医学文章中出现的荟萃分析的真实数据。
2018-09-06 math.ST stat.ME stat.TH
Breaking the Winner's Curse with Bayesian Hybrid Shrinkage
Meta Platforms
本文提出贝叶斯混合收缩方法,通过数据驱动先验减轻选择偏差,提升不确定性量化精度,实验证明其在减少偏差和提升区间覆盖方面优于传统方法。
2026-03-13 stat.ME
A Bayesian semi-parametric hybrid model for spatial extremes with unknown dependence structure
最大稳定过程是空间极值的渐近合理模型。特别是,我们专注于分层极值过程(HEVP),这是一个特定的最大稳定的过程,有利于贝叶斯计算。HEVP和所有最大稳定过程模型是参数化的,并施加强有力的假设,包括所有边缘分布属于广义极值族,附近的站点是渐近相关的。我们通过放松这些假设来推广HEVP,以通过空间随机效应分布的Dirichlet过程提供更广泛的一类边缘分布。此外,我们提出了一个混合最大混合模型,结合了参数和半参数模型的优势。我们表明,这种通用的最大混合模型,同时容纳渐近独立性和依赖性,可以使用标准的马尔可夫链蒙特卡罗算法。在蒙特卡罗模拟研究和荷兰阵风数据的应用中,我们的模型的效用进行了评估。
2020-03-24 stat.ME
Performing Bayesian Risk Aggregation using Discrete Approximation Algorithms with Graph Factorization
Queen Mary, University of London(伦敦玛丽女王大学)
风险聚合是一种流行的方法,用于估计金融资产或事件集合的总和,其中每个资产或事件都被建模为随机变量。在金融服务行业中的应用包括保险、操作风险、压力测试和敏感性分析,但在许多其他应用领域中也普遍遇到这个问题。本文提出了两种算法来实现混合相依和高维相依模型下的贝叶斯风险聚集。第一种算法在一般问题的一个子集上操作,重点是卷积问题,在连续和离散变量(所谓的混合模型)的存在下,第二种算法提供了一种通用的方法,用于更广泛的贝叶斯网络模型类的通用推理。
2015-06-02 cs.AI