Evaluation of the Performance of the Markov Blanket Bayesian Classifier Algorithm
马尔可夫覆盖贝叶斯分类器是最近提出的概率分类器的构造算法。本文提出了一个经验比较的MBBC算法与其他三个贝叶斯分类:朴素贝叶斯,树增强朴素贝叶斯和一般贝叶斯网络。所有这些都使用Cooper和Herskovits的K2框架实现。分类器的性能(使用简单的准确性措施和ROC曲线)和速度方面进行了比较,在一系列的标准基准数据集。它的结论是MBBC是竞争力的速度和精度与其他算法考虑。
2002-11-01 cs.LG
Learning Bayesian and Markov Networks with an Unreliable Oracle
University of Helsinki(赫尔辛基大学);University of Bergen(卑尔根大学);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本文研究了在存在不可靠Oracle的情况下,马尔可夫网络和贝叶斯网络的结构学习问题,证明了在特定条件下结构的唯一可确定性,并提出了相应的学习算法。
2026-03-10 cs.LG
Bayesian Markov Blanket Estimation
University of Basel(巴塞尔大学)
本文考虑了一个贝叶斯观点估计一个子网络在马尔可夫随机场。子网络对应于一组查询变量的马尔可夫毯,其中潜在邻居的集合很大。我们因式分解后验,使马尔可夫毯有条件地独立于网络的潜在邻居。通过利用这种分块解耦,我们推导出后验条件的解析表达式。随后,我们开发了一个推理方案,利用因式分解。结果,可以在不推断整个网络的情况下估计子网络。由于得到的吉布斯采样器与变量的数量呈线性关系,因此它可以处理相对较大的邻域。所提出的方案的结果更快的收敛速度和优越的混合比现有的贝叶斯网络估计技术的马尔可夫链。
2015-10-06 cs.LG stat.ML
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit(盖比计算神经科学单元);University College London(伦敦大学学院)
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中,我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想,并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间,然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
Factorized Asymptotic Bayesian Hidden Markov Models
NEC Laboratories America(美国 NEC 实验室);University of Tokyo(东京大学)
本文讨论了隐马尔可夫模型(HMM)的模型选择问题。我们推广了因子分解渐近贝叶斯推断(FAB),这是最近开发的独立隐变量模型选择(即,混合模型),用于时间依赖的隐变量。与混合模型中的FAB算法一样,本文推导出了基于因子分解信息准则(FIC)的混合模型中的FAB算法。它继承了混合模型的FAB,学习障碍的几个理想的属性,如FIC与边际对数似然的渐近一致性,隐藏状态选择的收缩效应,通过迭代优化的FIC下限的单调增加。此外,它没有可调的超参数,因此其模型选择过程可以完全自动化。实验结果表明,FAB优于国家的最先进的变分贝叶斯HMM和非参数贝叶斯HMM的模型选择精度和计算效率。
2012-06-18 cs.LG stat.ML
MAP segmentation in Bayesian hidden Markov models: a case study
University of Tartu(塔尔图大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
考虑了贝叶斯环境下有限状态和有限发射字母表隐马尔可夫模型(HMM)的最大后验概率(MAP)状态序列的估计问题,其中发射矩阵和转移矩阵都具有Dirichlet先验.我们研究了由数千个蛋白质比对对组成的训练集。训练数据用于设置贝叶斯MAP分割的先验超参数。由于Viterbi算法不再适用,没有简单的过程来找到MAP路径,并考虑和比较几种迭代算法。本文的主要目标是测试贝叶斯设置对频率论,其中的参数估计使用的训练数据。
2020-04-17 cs.LG stat.CO stat.ML
Bayesian Tensor Factorisation for Bottom-up Hidden Tree Markov Models
Università di Pisa(比萨大学)
自底向上的【形】隐树马尔可夫模型是一种高表达能力的树结构数据模型。不幸的是,它不能在实践中使用,由于其棘手的大小的状态转移矩阵。我们提出了一个新的近似,这取决于张量的Tucker因子分解。这种近似的概率解释,使我们能够定义一个新的概率模型树结构的数据。因此,我们定义了新的近似模型,我们推导出它的学习算法。然后,我们实证评估的有效功率的新模型评估它在两个不同的任务。在这两种情况下,我们的模型优于文献中已知的其他近似模型。
2019-05-31 cs.LG stat.ML
Variational Bayesian Inference for Hidden Markov Models With Multivariate Gaussian Output Distributions
University of Kassel(卡塞尔大学)
隐马尔可夫模型(HMM)已被用于许多时间序列分析或模式识别任务多年。HMM通常通过Baum-Welch算法进行训练,该算法可以被视为期望最大化(EM)算法的特殊变体。二阶训练技术,如概率模型的变分贝叶斯推理(VI),将概率模型的参数视为随机变量,并定义这些分布参数的分布,因此该技术的名称。VI也可以被视为EM算法的特殊情况。在本文中,我们将两者结合起来,并使用VI训练具有多元高斯输出分布的HMM。本文定义了HMM的新训练技术。基于一些案例研究的评价和与相关方法的比较是我们正在进行的工作的一部分。
2016-05-27 cs.LG stat.ML
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester(曼彻斯特大学);Oak Ridge National Laboratory(橡树岭国家实验室)
马尔可夫链蒙特卡罗(MCMC)方法在贝叶斯神经网络(BNN)中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此,本文表明,通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理,但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Bayesian Optimisation for Constrained Problems
University of Warwick(华威大学)
许多现实世界的优化问题,如机器学习或基于仿真的优化中的超参数调整,可以用公式表示为昂贵的评估黑盒函数。解决此类问题的一种流行方法是贝叶斯优化(BO),它基于迄今为止收集的数据构建响应面模型,并使用模型预测的均值和不确定性来决定下一步收集什么信息。在本文中,我们提出了一个新的变种,著名的知识梯度采集功能,使其能够处理约束。我们经验比较新算法与其他四个国家的最先进的约束贝叶斯优化算法,并证明其优越的性能。我们还证明了在无限预算极限下的理论收敛性。
2021-05-27 cs.LG stat.ML
Bayesian methods and Markov chain Monte Carlo algorithms for curve reconstruction and point cloud data analysis
University of Tennessee(田纳西大学)
本文针对点云数据量大、含噪声及缺失信息,现有重建无不确定性量化的问题,提出全贝叶斯框架与适配的MCMC采样器,经合成及LiDAR数据实验,实现精确曲线重建与不确定性量化。
2026-08-28 cs.LG stat.ML
Constrained Bayesian Inference for Low Rank Multitask Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一种新的方法约束贝叶斯推理。与目前的方法不同,我们的方法不需要凸的约束集。我们减少了约束变分推理的可行的密度集的参数优化,并提出了这样的问题的一般配方。我们提出的约束贝叶斯推理方法的多任务学习的权重矩阵的排名约束。此外,约束参数估计被应用于恢复由先验精度矩阵编码的稀疏条件独立结构。我们的方法是由高维功能神经成像,一个域的高维和少量的例子需要使用的约束,以确保有意义和有效的模型的反向推理的动机。对于这个应用程序,我们提出了一个模型,联合学习权重矩阵和不同任务之间的先验逆协方差结构。我们目前的实验验证表明,所提出的方法优于强基线模型的预测性能和结构恢复。
2013-09-26 cs.LG stat.ML
Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation
CUHK(香港中文大学);Shenzhen University(深圳大学);University of Chicago(芝加哥大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对约束多目标优化问题,提出COMBOO算法,结合乐观约束估计与水平集主动学习,实现高效可行区域探索,并通过理论分析和实验验证其有效性。
2025-04-21 cs.LG stat.ME
Output-Constrained Bayesian Neural Networks
Harvard University(哈佛大学)
贝叶斯神经网络(BNN)的先验定义在参数空间中,使得表达在函数空间中的先验知识难以编码。我们制定了一个先验,它包含了关于输出可以或不能在输入空间的区域中的功能约束。输出约束的BNN(OC-BNN)代表了一种可解释的方法,执行一系列的约束,完全符合贝叶斯框架,并服从黑盒推理。我们展示了OC-BNN如何提高模型的鲁棒性,并防止在医疗保健和机器人的两个现实世界的应用中预测不可行的输出。
2019-05-15 cs.LG stat.ML
Intrinsic Bayesian Optimisation on Complex Constrained Domain
贝叶斯优化算法在欧氏空间中的成功的动机,我们提出了一种新的方法来构建内在贝叶斯优化(在BO)流形上的主要重点是复杂的约束域或不规则形状的空间产生的R2,R3及以后的子流形。数据可以在空间域中收集,但限于与地理特征相对应的复杂或结构复杂的区域,例如湖泊。传统的贝叶斯优化(Tra-BO)定义的径向基函数(RBF)内核不能适应这些复杂的约束条件。In-BO使用稀疏固有高斯过程(SIn-GP)代理模型来考虑流形的几何结构。利用流形的热核构造了SInGP,热核被估计为流形上布朗运动的转移密度。通过对U形域、Bitten环面和咸海真实数据集的模拟研究,证明了In-BO的效率。它的性能相比,传统的BO,这是定义在欧氏空间。
2023-01-29 cs.LG stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine(加州大学欧文分校)
近年来,已经开发了许多方法来自动学习马尔可夫随机场的(稀疏)连接结构。这些方法大多基于L1正则化优化,其具有许多缺点,例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外,模型的预测性能可能会随着正则化参数的次优值(有时需要引入稀疏性)而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前(类似于L0正则化),不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明,该模型学习的结构和参数值的良好组合,而不需要单独的超参数调整。此外,该模型的预测性能比基于L1的方法更鲁棒,超参数设置会导致高度稀疏的模型结构。
2012-06-23 cs.LG stat.ML
Estimation of Markov Chain via Rank-Constrained Likelihood
Princeton University(普林斯顿大学)
研究了低秩马尔可夫链的经验轨迹估计问题。我们提出了一种基于秩约束似然最大化的非凸估计。统计上界提供的Kullback-Leiber分歧和$\ell_2$之间的估计和真正的转移矩阵的风险。该估计器揭示了一个压缩的状态空间的马尔可夫链。我们还开发了一种新的DC(凸函数差分)规划算法来解决秩约束非光滑优化问题。收敛结果成立。实验结果表明,该估计器实现了更好的经验性能比其他流行的方法。
2018-07-19 cs.LG math.OC stat.ML
Piecewise Deterministic Markov Processes for Bayesian Neural Networks
本文提出一种通用自适应稀疏方案,用于高效采样分段确定性马尔可夫过程,提升贝叶斯神经网络推断的计算效率和预测精度。
2026-04-06 cs.LG stat.ML stat.OT
A New Knowledge Gradient-based Method for Constrained Bayesian Optimization
Southern University of Science and Technology(南方科技大学)
黑盒问题在现实生活中很常见,如结构设计、药物实验和机器学习。在优化黑箱系统时,决策者往往综合考虑多个性能指标,通过综合评价给出最终决策。出于这样的实际需要,我们专注于约束黑箱问题的目标和约束缺乏已知的特殊结构,评估是昂贵的,甚至与噪音。提出了一种基于知识梯度法的约束贝叶斯优化方法($c-\rm{KG}$)。考虑到最优性和可行性,提出了一种新的采集函数来确定下一批样本。新的捕获函数的梯度的无偏估计,推导出实现$c-\rm{KG}$的方法。
2021-01-20 cs.AI cs.LG stat.ML
Bayesian Classifier for Route Prediction with Markov Chains
IBM Research – Ireland(IBM爱尔兰研究院);University College Dublin(都柏林大学学院)
我们在这里提出了一个通用的框架和一个特定的算法,用于预测目的地,路线,或者更一般的模式,一个正在进行的旅程,建立在[Y。Lassoued,J. Monteil,Y. Gu,G.鲁索河Shorten和M. Mevissen,“用于路线和目的地预测的隐马尔可夫模型”,IEEE智能交通系统国际会议,2017年。在所提出的框架中,已知的旅程模式被建模为随机过程,发射的路段访问的旅程,并正在进行的旅程是通过更新的后验概率的每个旅程模式给定的路段访问到目前为止预测。在这篇文章中,我们使用马尔可夫链作为旅程模式的模型,并且一旦后验概率之一超过预定义的阈值,就认为预测是最终的。尽管两者都很简单,但在合成数据集上运行的示例证明了所做预测的高准确性。
2018-08-31 cs.LG math.PR stat.ML
Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency
Texas A& M University(得克萨斯农工大学);Purdue University(普渡大学)
本文研究贝叶斯框架下机会约束随机优化问题,证明使用近似后验分布所得最优值具有频率学派统计一致性并给出概率收敛速率,同时证明问题的凸可行性,并在M/M/c排队模型上验证了方法有效性。
2022-10-01 cs.LG math.OC math.ST
Multilevel Gibbs Sampling for Bayesian Regression
Departement of Computer Science, KU Leuven(计算机科学系,鲁汶大学);Department of Electrical Engineering, ESAT - STADIUS, KU Leuven(电气工程系,ESAT - STADIUS,鲁汶大学)
贝叶斯回归仍然是一个简单而有效的工具,基于贝叶斯推断技术。对于大规模的应用,复杂的后验分布,马尔可夫链蒙特卡罗方法被应用。针对马尔可夫链蒙特卡罗方法在贝叶斯回归中的计算量大的问题,提出了一种适用于线性混合模型贝叶斯回归的多级Gibbs抽样方法.通过对数据矩阵的特征和/或样本进行聚类来创建数据矩阵的层级。此外,使用相关样本的方差减少,以改善马尔可夫链的收敛性进行了研究。在不同的数据集上进行测试,几乎所有数据集都实现了加速,而预测性能没有显著损失。
2020-09-25 cs.LG cs.NA math.NA
Bayesian Subspace Hidden Markov Model for Acoustic Unit Discovery
Brno University of Technology(布尔诺理工大学)
这项工作解决的问题,学习一组语言特定的声学单位从未标记的语音记录给定的一组标记的录音从其他语言。我们的方法可以描述为以下两个步骤的过程:首先,模型学习的概念的声学单位从标记的数据,然后模型使用它的知识,以找到新的声学单位的目标语言。我们用贝叶斯子空间隐马尔可夫模型(SHMM)实现这个过程,这是一种类似于子空间高斯混合模型(SGMM)的模型,其中每个低维嵌入表示一个声学单元,而不仅仅是HMM的状态。子空间在来自GlobalPhone语料库的3种语言(德语、波兰语和西班牙语)上训练,AU在TIMIT语料库上发现。以等效电话出错率测量的结果表明,该方法明显优于以前的基于HMM的声学单元发现系统,并且与变分自动编码器HMM相比毫不逊色。
2019-07-02 cs.LG cs.SD eess.AS