On Local Optima in Learning Bayesian Networks
Aalborg University(奥尔堡大学)
本文提出并评估了k-贪婪等价搜索算法(KES)学习贝叶斯网络(BN)从完整的数据。KES的主要特点是它允许贪婪和随机性之间的权衡,从而探索不同的好的局部最优。当贪婪被设置为最大值时,KES对应于贪婪等价搜索算法(GES)。当贪婪保持在最低限度,我们证明了在温和的假设下,KES渐近返回任何包含最优BN与非零概率。合成和真实数据的实验结果表明,KES往往发现一个更好的局部最优比GES。此外,我们使用KES实验证实,不同的局部最优的数量往往是巨大的。
2012-10-19 cs.AI cs.LG stat.ML
Local Entropy Search over Descent Sequences for Bayesian Optimization
Institute for Data Science in Mechanical Engineering, RWTH Aachen University, Germany(机械工程数据科学研究所,亚琛工业大学,德国);Learning Systems and Robotics Lab, Technical University of Munich, Germany(学习系统与机器人实验室,慕尼黑技术大学,德国)
局部熵搜索通过优化降序序列的概率分布,提高贝叶斯优化的样本效率。
2025-11-24 cs.AI cs.LG stat.ML
Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们介绍了一种方法,KL-LIME,用于解释贝叶斯预测模型的预测,通过将预测分布中的信息局部投影到一个更简单,可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理(LIME)方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
Differentiable TAN Structure Learning for Bayesian Network Classifiers
Graz University of Technology(格拉茨技术大学)
贝叶斯网络的结构学习是一个困难的组合优化问题。在本文中,我们考虑学习树增强朴素贝叶斯(TAN)结构的贝叶斯网络分类器与离散输入功能。所提出的方法不是在可能的图结构的空间上执行组合优化,而是学习图结构上的分布。在训练之后,我们选择这个分布的最可能的结构。这允许使用基于梯度的优化对贝叶斯网络参数及其TAN结构进行联合训练。所提出的方法是不可知的具体损失,只要求它是可微的。我们进行了广泛的实验,使用混合生成判别损失的基础上的判别概率余量。我们的方法始终优于随机TAN结构和Chow-Liu TAN结构。
2020-08-21 cs.AI cs.LG stat.ML
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中:从自动机器学习,机器人,强化学习,实验设计,仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式,高斯过程,由于其灵活性,以代表一个先验函数。然而,许多算法和设置依赖于高斯过程的平稳性假设。在本文中,我们提出了一种新的非平稳贝叶斯优化策略,能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Structure Learning in Bayesian Networks of Moderate Size by Efficient Sampling
Iowa State University(爱荷华州立大学)
我们研究了贝叶斯模型平均方法来学习贝叶斯网络结构(DAG)的数据。我们开发了新的算法,包括第一个算法,能够有效地采样DAG根据确切的结构后验。然后,可以使用DAG样本来构建任何特征的后验估计。我们从理论上证明了我们的估计良好的性能和经验表明,我们的估计大大优于估计从以前的国家的最先进的方法。
2015-01-19 cs.AI cs.LG stat.ML
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles(加州大学洛杉矶分校)
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构,文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时,启发式搜索算法适合搜索贝叶斯网络的等价类,而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间,可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
The Behavior and Convergence of Local Bayesian Optimization
University of Pennsylvania(宾夕法尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
该研究针对高维场景下贝叶斯局部优化行为与收敛性不明的问题,分析了局部方法的特性,首次严格证明Müller等人2021年提出的算法在含噪和无噪设置下的收敛速率。
2024-03-08 cs.LG stat.ML
Advances in exact Bayesian structure discovery in Bayesian networks
我们考虑一个贝叶斯方法学习贝叶斯网络结构从完整的数据。最近,Koivisto和Sood(2004)提出了一种算法,对于任何一条边,都可以在O(n 2^n)时间内计算其边际后验概率,其中n是属性的数量;每个属性的父节点数量受一个常数的限制。本文证明了所有n(n - 1)条潜在边的后验概率可以在O(n2^n)总时间内计算。这个结果是通过一个向前向后的技术和快速Moebius变换算法,这是独立的利益。由此产生的约n^2倍的加速,使我们能够通过实验研究学习中等规模网络的统计能力。我们报告了一个模拟研究的结果,该研究涵盖了具有5到25个离散属性的20到10,000个记录的数据集
2012-06-27 cs.AI cs.LG stat.ML
Local Structure Discovery in Bayesian Networks
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);CSC and Scilifelab(CSC和生命科学实验室);Department of Computer Science Royal Institute of Technology (KTH)(皇家理工学院计算机科学系);University of Helsinki(赫尔辛基大学)
从数据中学习贝叶斯网络结构是一个NP难问题,因此精确算法只适用于小数据集。因此,大型网络的网络结构通常是通过各种学习方法来学习的。扩大结构学习的另一种方法是局部学习。在局部学习中,建模者有一个或多个特别感兴趣的目标变量;他想学习目标变量附近的结构,而对其他变量不感兴趣。在本文中,我们提出了一个基于分数的局部学习算法称为SLL。我们推测,我们的算法是理论上的声音在这个意义上,它是最佳的限制大样本量。实证结果表明,SLL是竞争力相比,基于约束的HITON算法。我们还研究了基于局部结果构建整个节点集的网络结构的前景,提出了两种算法,并将它们与几种算法进行了比较。
2012-10-16 cs.AI cs.LG stat.ML
Solving Bayesian Network Structure Learning Problem with Integer Linear Programming
London School of Economics and Political Science(伦敦政治经济学院)
本文研究了贝叶斯网络结构学习问题的整数线性规划(ILP)形式.我们回顾了贝叶斯网络的定义和关键属性,并解释了用于衡量某些贝叶斯网络结构与数据集拟合程度的得分度量。我们概述了整数线性规划公式的基础上分解的得分指标。为了确保结构的无环性,我们添加了专门为贝叶斯网络开发的“簇约束”,除了一般适用于有向无环图的循环约束。由于如果我们完全指定这些约束,这些约束的数量将是指数级的,因此我们解释了将它们添加为切割平面的方法,而无需在初始模型中声明它们。此外,我们开发了一个启发式算法,找到一个可行的解决方案的基础上的思想汇节点上有向无环图。我们实现了ILP制定和切割平面作为一个\textsf{Python}包,并提出了不同的设置在参考数据集上的实验结果。
2020-07-06 cs.AI cs.LG stat.ML
Bayesian Structure Scores for Probabilistic Circuits
Eindhoven University of Technology(埃因霍温理工大学);KU Leuven(鲁汶大学);Graz University of Technology(格拉茨理工大学)
概率回路(PC)是概率分布的一种重要表示,具有易处理的推理。虽然PC中的参数学习被严格研究,但结构学习往往更多地基于数学而不是原则性目标。在本文中,我们开发了贝叶斯结构分数的确定性PC,即,边缘化参数的结构似然,这是众所周知的严格的目标,结构学习的概率图模型。当在贪婪割集算法中使用时,我们的分数有效地防止过拟合,并产生快速且几乎无超参数的结构学习器,将其与以前的方法区分开来。在实验中,我们在训练时间和模型拟合之间取得了良好的权衡。此外,贝叶斯分数的原则性解锁PC的适应框架,如结构预期最大化。
2023-02-23 cs.AI cs.LG stat.ML
Bayesian optimization with local search
Shanghai Jiao Tong University(上海交通大学);University of Birmingham(伯明翰大学)
全局优化在广泛的现实世界问题中得到应用。多起点方法是一类流行的全局优化技术,它基于在多个起点进行局部搜索的思想。在这项工作中,我们提出了一个新的多启动算法的起点是在贝叶斯优化框架。具体地,该方法可以被理解为通过对原始目标函数进行局部搜索来构造新函数,其中新函数获得与原始函数相同的全局最优解。然后应用贝叶斯优化来找到新的局部搜索定义函数的全局最优解。
2020-06-30 cs.LG math.OC stat.ML
An Experimental Comparison of Hybrid Algorithms for Bayesian Network Structure Learning
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);Université Lyon 1(里昂第一大学)
提出了一种新的贝叶斯网络结构学习的混合算法,称为混合HPC(H2 PC)。它首先重建贝叶斯网络的骨架,然后执行贝叶斯评分贪婪爬山搜索来定位边缘。它基于一个名为HPC的子例程,该子例程结合了增量和基于约束的分治方法的思想,以学习目标变量的父变量和子变量。我们对H2 PC与Max-Min Hill-Climbing(MMHC)进行了实验比较,MMHC是目前最强大的贝叶斯网络结构学习算法,在几个具有不同数据大小的基准测试中。我们的大量实验表明,H2 PC在对新数据的拟合优度和网络结构本身的质量方面都优于MMHC,它更接近数据的真实依赖结构。H2 PC的源代码(R)以及用于实证测试的所有数据集都是公开的。
2015-08-24 cs.AI cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University(清华大学)
贝叶斯神经网络(BNN)通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而,这样的模型面临的挑战,贝叶斯推理在一个高维的,通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构,而是从神经架构搜索中获得灵感来表示网络结构。然后,我们开发了一个有效的随机变分推理方法,它统一了网络结构和权重的学习。从经验上讲,我们的方法表现出有竞争力的预测性能,同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由,我们的建模选择。
2021-03-27 cs.LG stat.ML
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University(统计学系哥伦比亚大学)
本文提出DP-GIBO框架,通过高斯过程代理私密近似梯度,实现高维空间下的差分隐私超参数调优,优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation(NTT先进技术公司);The University of Electro-Communications(电气通信大学)
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项,但如果样本量不足,则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题,本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法,我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Local Constrained Bayesian Optimization
Department of Industrial Systems Engineering & Management, National University of Singapore, Singapore(新加坡国立大学工业系统工程与管理系,新加坡)
针对高维约束问题的贝叶斯优化面临挑战,提出局部约束贝叶斯优化框架。利用约束惩罚替代函数的可微景观,在局部下降与探索间交替,理论证明其收敛率,实验表明优于现有基线。
2026-07-07 cs.LG stat.ML
Scalable Global Optimization via Local Bayesian Optimization
Uber AI(优步人工智能实验室);University of Warwick(华威大学)
贝叶斯优化最近成为一种流行的方法,用于昂贵的黑盒函数的样本有效优化。然而,应用到高维问题与几千个观察仍然具有挑战性,和困难的问题贝叶斯优化往往是没有竞争力的其他范例。在本文中,我们认为,这是由于隐含的同质性的全球概率模型和过分强调的探索,从全球收购的结果。这促使设计一个局部概率的方法,大规模的高维问题的全局优化。我们提出的$\texttt{TuRBO}$算法,适合本地模型的集合,并通过一个隐式的强盗的方法在这些模型之间执行一个原则性的全局分配的样本。全面的评估表明,$\texttt{TuRBO}$在跨越强化学习、机器人和自然科学的问题上优于机器学习和运筹学的最先进方法。
2020-02-24 cs.LG stat.ML
Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces
University of Oxford(牛津大学);Amazon(亚马逊);RMIT University(皇家墨尔本理工大学)
高维黑箱优化仍然是一个重要的,但众所周知的挑战性问题。尽管贝叶斯优化方法在连续域上取得了成功,但分类域或混合连续变量和分类变量的域仍然具有挑战性。我们提出了一种新的解决方案-我们结合本地优化与定制的内核设计,有效地处理高维分类和混合搜索空间,同时保持样本效率。我们进一步推导出所提出的方法的收敛保证。最后,我们通过经验证明,我们的方法在性能、计算成本或两者方面,在各种合成和现实任务上优于当前的基线。
2021-06-10 cs.LG stat.ML
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Nonparametric Bayesian Deep Networks with Local Competition
National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);Cyprus University of Technology(塞浦路斯理工大学);The Chinese University of Hong Kong(香港中文大学)
这项工作的目的是实现深度网络的推理,以保持最低的模型复杂度的高准确性,后者是在推理过程中从数据中推导出来的。为此,我们重新审视包含竞争线性单元的深度网络,而不是不涉及任何形式(局部)竞争的非线性单元。在这种情况下,我们的主要技术创新在于一个推理的设置,利用可靠的参数从贝叶斯nonparametrics。我们推断出所需的连接集或局部竞争单元集,以及存储网络参数所需的浮点精度。具体来说,我们引入辅助离散潜变量,表示实际上需要哪些初始网络组件来对手头的数据进行建模,并通过施加适当的破棒先验对它们进行贝叶斯推理。正如我们使用基准数据集进行的实验所示,我们的方法产生的网络比最先进的网络具有更少的计算足迹,并且在预测准确性方面没有任何妥协。
2019-05-05 cs.LG stat.ML
Local Latent Space Bayesian Optimization over Structured Inputs
University of Pennsylvania(宾夕法尼亚大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University College London(伦敦大学学院);Massachusetts Institute of Technology(麻省理工学院)
深度自动编码器模型(DAE)的潜在空间上的贝叶斯优化最近已经成为一种有前途的新方法,用于在结构化、离散、难以枚举的搜索空间(例如,分子)。这里,DAE通过将输入映射到连续的潜在空间中,可以更容易地应用熟悉的贝叶斯优化工具,从而大大简化了搜索空间。尽管这种简化,潜在空间通常仍然是高维的。因此,即使有一个非常合适的潜在空间,这些方法并不一定提供一个完整的解决方案,但可能会转移到一个高维的结构化优化问题。在本文中,我们提出了LOL-BO,它适应了最近的高维贝叶斯优化工作中探索的信任区域的概念结构化设置。通过将编码器重新公式化,使其既作为DAE的全局编码器,又作为信任区域内代理模型的深层内核,我们可以更好地将潜在空间中的局部优化概念与输入空间中的局部优化概念相结合。LOL-BO在六个真实世界的基准测试中实现了最先进的潜在空间贝叶斯优化方法的20倍改进,表明优化策略的改进与开发更好的DAE模型一样重要。
2023-02-22 cs.LG stat.ML
Parameterized Complexity Results for Exact Bayesian Network Structure Learning
Masaryk University(马萨里克大学);Vienna University of Technology(维也纳工业大学)
贝叶斯网络结构学习是一个非常困难的问题,即发现一个最佳地表示一组给定的训练数据的贝叶斯网络。在本文中,我们研究的计算最坏情况下的复杂性的精确贝叶斯网络结构学习的图论限制(有向)的超结构。超结构是一个无向图,包含作为子图的解决方案网络的骨架。我们引入有向超结构作为其无向对应物的自然推广。我们的研究结果适用于基于分数的贝叶斯网络结构学习的几个变体,其中网络的分数分解为其节点的局部分数。结果如下:证明了当超结构具有有界树宽时,精确贝叶斯网络结构学习可以在非均匀多项式时间内进行;当超结构具有有界最大度时,精确贝叶斯网络结构学习可以在线性时间内进行.此外,我们表明,如果有向超结构是非循环的,那么精确的贝叶斯网络结构学习可以在二次时间进行。我们补充这些积极的结果与一些硬度的结果。我们表明,这两个限制(树宽和程度)是必不可少的,不能被丢弃而不失去统一的多项式时间的易处理性(受复杂性理论的假设)。类似地,精确贝叶斯网络结构学习对于“几乎无环”有向超结构仍然是NP难的。此外,我们表明,如果我们不搜索一个全局最优的网络,但旨在改善给定的网络,通过最多k弧添加,弧删除,或弧反转(k邻域局部搜索)的限制仍然是必不可少的。
2014-02-04 cs.AI cs.LG
DiBS: Differentiable Bayesian Structure Learning
ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
贝叶斯结构学习允许从数据中推断贝叶斯网络结构,同时推理认知不确定性-这是实现主动因果发现和设计现实世界系统干预措施的关键要素。在这项工作中,我们提出了一个一般的,完全可微的框架贝叶斯结构学习(DiBS),在连续空间的潜在概率图表示。与现有的工作相反,DiBS是不可知的形式的局部条件分布,并允许联合后验推理的图形结构和条件分布参数。这使得我们的公式直接适用于复杂贝叶斯网络模型的后验推理,例如,由神经网络编码的非线性相关性。使用DiBS,我们设计了一个有效的,通用的变分推理方法近似分布结构模型。在模拟和真实世界的数据的评估,我们的方法显着优于相关的联合后验推理方法。
2021-12-16 cs.LG stat.ML
EBLIME: Enhanced Bayesian Local Interpretable Model-agnostic Explanations
Texas A&M University(德克萨斯农工大学)
本研究提出增强型贝叶斯局部可解释模型无关解释方法EBLIME,通过贝叶斯岭回归获取特征重要性分布并给出相关理论结果,在基准数据集和工业缺陷定位应用中表现优于现有方法,不确定性量化能力更优。
2023-04-29 cs.LG eess.IV stat.ML
Bayesian Discovery of Multiple Bayesian Networks via Transfer Learning
University of New Mexico(新墨西哥大学);Google, Inc(谷歌公司)
具有有限数据的贝叶斯网络结构学习算法正用于系统生物学和神经科学等领域,以深入了解产生观测数据的底层过程。从有限的数据中学习可靠的网络是困难的,因此迁移学习可以通过利用来自相关任务的数据来提高学习网络的鲁棒性。现有的贝叶斯网络结构学习的迁移学习算法给出了一个单一的最大后验估计的网络模型。然而,许多其他模型可能同样可能,因此贝叶斯结构发现提供了更多信息的结果。贝叶斯结构发现算法估计诸如边缘的结构特征的后验概率。我们提出了贝叶斯结构发现的迁移学习,它允许我们探索相关任务之间共享和独特的结构特征。有效的计算要求我们将学习的客观因素转移到本地计算中,我们证明了这是由广泛的转移偏差。从理论上讲,我们证明了我们的方法的效率。从经验上讲,我们表明,与单任务学习相比,迁移学习能够更好地积极识别真正的边缘。我们将该方法应用于全脑神经成像数据。
2013-07-09 cs.LG stat.ML
Adaptive Local Bayesian Optimization Over Multiple Discrete Variables
KAIST(韩国科学技术院)
在机器学习算法中,超参数的选择往往是一门艺术而不是一门科学,需要专家经验的劳动密集型搜索。因此,对超参数优化进行自动化以排除人为干预是很有吸引力的,特别是对于黑箱函数。近年来,人们越来越多地要求解决这些隐藏的任务,以更好地推广,虽然任务相关的问题是不容易解决的。黑盒优化挑战赛(NeurIPS 2020)要求参赛者在标准机器学习问题的不同领域构建一个强大的黑盒优化器。本文以逐步的方式描述了KAIST OSI团队的方法,该方法比基线算法的性能高出20.39%。我们首先在区域可靠性的概念下加强了局部贝叶斯搜索。然后,我们为高斯过程核设计了一个组合核。同样,我们结合贝叶斯方法和多臂强盗(MAB)方法来选择考虑变量类型的值;实数和整数变量与贝叶斯,而布尔和分类变量与MAB。实证评估表明,我们的方法优于现有的方法在不同的任务。
2020-12-07 cs.LG stat.ML
Improving predictions of Bayesian neural nets via local linearization
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心);Technical University of Denmark(丹麦技术大学);DeepMind(深度思维公司)
广义高斯-牛顿(GGN)近似通常用于通过将二阶导数替换为一阶导数的乘积来使实际的贝叶斯深度学习方法可扩展。在本文中,我们认为,GGN近似应被理解为一个局部线性化的底层贝叶斯神经网络(BNN),它把BNN到一个广义线性模型(GLM)。因为我们使用这个线性化模型进行后验推理,所以我们也应该使用这个修改后的模型来预测,而不是原来的模型。我们将这种修改后的预测称为“GLM预测”,并表明它有效地解决了常见的欠拟合问题的拉普拉斯近似。它扩展了以前的结果在这方面的一般似然性,并有一个等效的高斯过程制定,使替代推理方案的BNN在函数空间。我们证明了我们的方法在几个标准分类数据集以及分布检测的有效性。我们在https://github.com/AlexImmer/BNN-predictions上提供了一个实现。
2021-02-25 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
A note on Bayesian convergence rates under local prior support conditions
贝叶斯后收敛速度的界限,假设先验满足局部和全局支持条件,现在很容易获得。在本文中,我们探讨,在密度估计的背景下,贝叶斯收敛速度假设只有当地的先验支持条件。我们的研究结果给出了最优利率在最小条件下使用非常简单的参数。
2013-12-24 math.ST stat.TH
Robustness Analysis of Bayesian Networks with Local Convex Sets of Distributions
Carnegie Mellon University(卡内基梅隆大学)
鲁棒贝叶斯推理是在概率模型中给定扰动的情况下计算后验概率界。本文重点关注可以通过分布凸集在贝叶斯网络中局部表达的扰动。考虑了两种局部模型组合的方法。第一种方法需要最大的一组联合分布,是兼容的本地集的分布,我们展示了如何减少这种类型的鲁棒性推理的线性规划问题。第二种方法采取的联合分布的局部集的分布产生的凸包,我们演示了如何应用邻域点优化方法来生成后界,以及如何生成近似,保证收敛到正确的后界。我们还讨论了预期效用和方差的界的计算,以及全局扰动模型。
2013-02-06 cs.AI
Searching in the Forest for Local Bayesian Optimization
Leibniz University Hannover(汉诺威莱布尼茨大学)
贝叶斯优化(BO)由于其样本效率而成为处理昂贵的黑盒优化问题(例如超参数优化(HPO))的流行方法。最近的实证实验表明,HPO问题的损失景观往往比以前假设的更良性,即在最好的情况下是单峰和凸的,因此,如果BO框架可以专注于那些有希望的局部区域,它可能会更有效。在本文中,我们提出了BOinG,一个两阶段的方法,是专门针对中型配置空间,在许多HPO问题中遇到的。在第一阶段,我们建立了一个可扩展的全球代理模型与随机森林来描述整体景观结构。此外,我们选择一个有前途的子区域,通过自底向上的方法上的上层树结构。在第二阶段中,利用该子区域中的局部模型来建议接下来要评估的点。实验结果表明,BOinG能够利用典型的HPO问题的结构,并表现得特别好的中型问题,从合成功能和HPO。
2021-11-10 cs.LG stat.ML
DP-GP-LVM: A Bayesian Non-Parametric Model for Learning Multivariate Dependency Structures
University of Bath(巴斯大学);University of Bristol(布里斯托尔大学)
我们提出了一个非参数贝叶斯潜变量模型,能够在多变量环境中学习跨维度的依赖结构。我们的方法是基于灵活的高斯过程先验的生成映射和可互换的狄利克雷过程先验学习的结构。引入狄利克雷过程作为一个特定的结构先验,使我们的模型,以规避与以前的高斯过程潜变量模型的问题。推导出一个有效的变分边界上的边际对数似然模型进行推理。
2018-07-12 cs.LG stat.ML
Sequential Update of Bayesian Network Structure
University of California(加利福尼亚大学);SRI International(斯坦福国际研究院)
当观察到新数据时,显然需要改进贝叶斯网络的性能和准确性。由于模型构建的错误和领域动态的变化,我们不能忽视新数据中的信息。虽然可以使用标准技术来完成固定结构的参数的顺序更新,但是网络结构的顺序更新仍然是一个开放的问题。本文研究了贝叶斯网络在参数和结构都有变化时的序贯更新问题。我们引入了一种新的方法,允许灵活地操纵学习网络的质量和维护有关过去观测的信息量之间的权衡。我们正式描述我们的方法,包括必要的修改,学习贝叶斯网络的评分功能,通过实证研究评估其有效性,并将其扩展到缺失数据的情况下。
2013-02-06 cs.AI cs.LG
Learning Continuous Time Bayesian Networks
Stanford University(斯坦福大学)
连续时间贝叶斯网络(CTBN)描述了在连续时间内演化的具有多个状态的结构化随机过程。CTBN是一组变量上的有向(可能是循环的)依赖图,每个变量表示一个有限状态的连续时间马尔可夫过程,其转换模型是其父过程的函数。我们解决的问题的学习参数和结构的CTBN从充分观察到的数据。我们定义了一个共轭先验的CTBN,并展示了它如何可以用于贝叶斯参数估计和贝叶斯得分的基础上的结构学习。由于无环性不是CTBN中的约束,因此我们可以证明,无论是在理论上还是在实践中,结构学习问题都比动态贝叶斯网络(DBNs)的结构学习要容易得多。此外,由于CTBN可以根据不同变量的演化的不同时间粒度来定制参数和依赖结构,因此它们可以比具有固定时间粒度的DBN更好地适应连续时间过程。
2012-10-19 cs.LG stat.ML
Bayesian Outdoor Defect Detection
University of Hong Kong(香港大学)
我们引入贝叶斯缺陷检测器,以促进粗糙纹理表面上的运动模糊图像的缺陷检测。为了提高贝叶斯检测去除非缺陷像素的准确性,我们开发了一类反射非局部先验分布,这是通过使用分布的模式减去其密度构造的。反射的非局部先验迫使贝叶斯检测器在非缺陷位置处接近0。我们进行了实验研究,以证明贝叶斯检测器在消除非缺陷点的优越性能。我们在运动模糊的无人机图像中实现了贝叶斯检测器,其中检测器成功地识别了粗糙表面上的冰雹损坏,并大大提高了整个缺陷检测流水线的准确性。
2018-08-30 cs.CV cs.LG stat.ML
Local Bayesian Dirichlet mixing of imperfect models
本文提出利用 Dirichlet 分布的局部贝叶斯模型混合框架,扩展 Bayesian stacking,并在核质量预测中证明其精度、不确定性量化和外推稳健性优于经典贝叶斯模型平均。
2023-11-02 nucl-th stat.ME stat.ML
Algorithms and Complexity Results for Exact Bayesian Structure Learning
贝叶斯结构学习是一个NP难问题,即发现一个最佳表示给定训练数据集的贝叶斯网络。在本文中,我们研究了计算的最坏情况下的复杂性的精确贝叶斯结构学习的图论限制的超结构。超结构(Perrier,Imoto和Miyano在JMLR 2008中引入的概念)是一个无向图,包含解网络的骨架作为子图。我们的研究结果适用于基于分数的贝叶斯结构学习的几个变体,其中网络的分数分解为其节点的局部分数。结果如下:我们证明了,如果超结构具有有界树宽,精确贝叶斯结构学习可以在非均匀多项式时间内进行,如果超结构具有有界最大度,精确贝叶斯结构学习可以在线性时间内进行。我们补充了一些硬度结果。我们表明,这两个限制(树宽和程度)是必不可少的,不能被丢弃而不失去统一的多项式时间的易处理性(受复杂性理论的假设)。此外,我们表明,如果我们不搜索全局最优网络,但我们的目标是通过最多k个弧添加,弧删除或弧反转(k邻域局部搜索)来改善给定的网络,则这些限制仍然是必不可少的。
2012-03-15 cs.DS cs.LG stat.ML
Exploring Localization in Bayesian Networks for Large Expert Systems
Simon Fraser University(西蒙菲莎大学);University of British Columbia(不列颠哥伦比亚大学)
目前的贝叶斯网络表示不考虑域中的结构,并包括同构网络中的所有变量。在任何时候,在一个大的域中的人类推理者可以将他的注意力仅引导到多个自然子域中的一个,即,有吗查询和证据的本地化。在这种情况下,通过同构网络传播证据是低效的,因为每次都必须更新整个网络。本文提出了多节贝叶斯网络,使(本地化保持)表示的自然子域单独的贝叶斯网络。这些树被转换成一组永久的连接树,使得证据推理一次只在其中一个树上进行。得到的概率是相同的那些将从同质网络。我们讨论了注意力转移到一个不同的连接树和传播以前获得的证据。虽然整个系统可能很大,但计算需求仅由一个连接树的大小决定。
2013-03-13 cs.AI
Local estimators and Bayesian inverse problems with non-unique solutions
贝叶斯方法是解决反问题的有效方法。后验密度分布提供了未知量的有用信息。然而,对于非唯一解的问题,经典的估计如最大后验估计(MAP)和条件均值(CM)是不够的。我们引入了两个新的估计,局部极大值后验(LMAP)和局部条件均值(LCM)。他们的应用程序证明了三个反问题:反谱问题,反源问题,和反介质问题。
2021-08-27 math.ST stat.TH
A Transformational Characterization of Equivalent Bayesian Network Structures
University of California at Los Angeles(加州大学洛杉矶分校)
我们提出了一个简单的等价贝叶斯网络结构的局部变换的基础上的表征。这一定性的意义是双重的。首先,我们能够很容易地证明几个新的不变性质的理论兴趣的等价结构。其次,我们使用的特征,以获得一个有效的算法,确定所有的强迫边缘的结构。强迫边缘识别对于从数据中学习贝叶斯网络结构特别重要,因为当某些假设成立时,这些边缘指示因果关系。
2013-02-20 cs.AI
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能,超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘(潜在树结构)规模的混合先验。一系列去噪和修复问题的实验结果表明,大大提高了性能相比,MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Multi-Sensor Fusion Method using Dynamic Bayesian Network for Precise Vehicle Localization and Road Matching
LORIA-INRIA Lorraine(洛里亚-洛林因里亚研究所);LAGIS-CNRS UMR 8146 Polytech'Lille(里尔理工大学LAGIS-CNRS联合研究所UMR 8146)
本文提出了一种新的道路匹配方法,旨在支持先进的驾驶辅助系统中的实时导航功能的多传感器融合策略。管理多假设是解决道路匹配问题的有效策略。利用动态贝叶斯网络实现了多传感器融合和多模态估计。实验结果,使用来自防抱死制动系统(ABS)传感器,差分全球定位系统(GPS)接收器和准确的数字路线图的数据,说明了这种方法的性能,特别是在模糊的情况下。
2007-09-07 cs.AI cs.RO
Minimax and minimax adaptive estimation in multiplicative regression : locally bayesian approach
本文讨论了带乘性噪声的回归方程的非参数估计问题。利用局部多项式拟合和贝叶斯方法,构造了迷向Hölder类估计的Minimax.接下来应用Lepski的方法,我们提出的估计,这是最佳自适应的各向同性的Hölder类的集合。为了证明所提出的方法的最优性,我们特别建立了局部最佳估计与待估计参数的偏差的指数不等式。这些理论结果通过仿真研究得到了验证。
2012-07-23 math.ST stat.TH
Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG
R包BiDAG实现了马尔可夫链蒙特卡罗(MCMC)方法,用于贝叶斯网络的结构学习和采样。该软件包包括搜索最大后验(MAP)图和从给定数据的后验分布中采样图的工具。一种新的混合结构学习方法可以在大型图中进行推理。在第一步中,我们通过PC算法或基于先验知识定义一个缩减的搜索空间。在第二步中,迭代顺序MCMC方案进行优化的限制搜索空间内,估计MAP图。从后验分布采样是使用顺序或分区MCMC。模型和算法可以处理离散和连续数据。BiDAG包还提供了MCMC方案的实现,用于动态贝叶斯网络的结构学习和采样。
2021-05-02 stat.CO stat.ML
Using Causal Information and Local Measures to Learn Bayesian Networks
University of Waterloo(滑铁卢大学)
在以前的工作中,我们开发了一种从原始数据中学习贝叶斯网络模型的方法。这种方法依赖于众所周知的最小描述长度(MDL)原则。MDL原则特别适合这项任务,因为它允许我们以原则性的方式权衡学习网络的准确性与其实际有用性。在本文中,我们提出了一些新的结果,从我们的工作。特别是,我们提出了一种新的本地计算描述长度的方法。这使我们能够对搜索算法进行重大改进。此外,我们修改了我们的算法,以便它可以考虑领域专家可能提供的部分领域信息。描述长度的局部计算也为现有网络的局部精化打开了大门。我们的方法的可行性证明了涉及网络的实际规模的实验。
2013-03-06 cs.AI
Bayesian Manifold Learning: The Locally Linear Latent Variable Model (LL-LVM)
我们介绍了局部线性潜变量模型(LL-LVM),非线性流形发现的概率模型,描述了一个联合分布的观察,他们的流形坐标和局部线性映射条件下的一组邻域关系。该模型允许直接变分优化的后验分布的坐标和局部线性映射从潜在空间的观察空间给定的数据。因此,LL-LVM封装了作为非概率方法(如局部线性嵌入(LLE))基础的局部几何保持直觉。它的概率语义使得它很容易评估的质量假设的邻域关系,选择流形的内在维度,构建样本外的扩展,并结合流形模型与额外的概率模型,捕捉结构的坐标在流形内。
2015-12-01 stat.ML
Iterative Bayesian-based Localization Mechanism for Industry Verticals
我们提出并评估了一种迭代定位机制,采用贝叶斯推断估计的位置,使用接收信号强度测量的目标。通过贝叶斯网络估计目标坐标的概率密度函数。在此,我们考虑一个迭代过程,每当有新的测量结果可用时,我们的预测值(后验分布)按顺序更新。该机制的性能进行了评估,在各自的均方根误差和内核密度估计的目标坐标。我们的数值结果表明,所提出的迭代机制实现了越来越好的估计目标节点的位置,每一轮更新的贝叶斯网络与新的输入测量。
2020-03-04 eess.SP stat.AP
On the Local Lipschitz Stability of Bayesian Inverse Problems
在本说明中,我们考虑了贝叶斯推理中后验测量的稳定性。先验测度和对数似然函数的扰动。这扩展了贝叶斯逆问题的适定性分析。特别是,我们证明了一般的局部Lipschitz连续依赖的先验和对数似然w.r.t.的后验。各种常见的概率测度距离。其中包括全变差、Hellinger和Wasserstein距离以及Kullback-Leibler散度。我们只假设有界的似然和测量其扰动的$L^p$ -范数w.r. t。副院长在温和的假设下得到的稳定收益率的贝叶斯反问题的适定性,特别是,适定性w.r.t. Wasserstein距离此外,我们的研究结果表明,随着后验变得更加集中,贝叶斯推断的敏感性也在增加,例如,因为数据越来越准确。这证实并扩展了以前在贝叶斯推断的灵敏度分析中所作的观察。
2020-01-22 cs.NA math.NA math.PR
Very strong evidence in favor of quantum mechanics and against local hidden variables from a Bayesian analysis
最近在代尔夫特,维也纳,博尔德和慕尼黑进行的四个实验的数据,目的是反驳量子力学描述的非量子隐藏变量的替代品,从贝叶斯的角度来评估统计数据中的证据。我们发现,每个实验都提供了强有力或非常强有力的证据,支持量子力学,反对非量子力学。这种贝叶斯分析补充了以前的非贝叶斯分析,后者基于小的p值反驳了替代方案,但不能支持量子力学。
2019-01-22 quant-ph stat.AP
Tuning Free Rank-Sparse Bayesian Matrix and Tensor Completion with Global-Local Priors
矩阵和张量补全是一系列问题的框架,包括协同过滤、缺失数据和图像重建。通过利用矩阵或张量是低秩的假设来估计缺失的条目。大多数现有的贝叶斯技术鼓励秩稀疏建模因子分解矩阵和张量与正常伽玛先验。然而,马蹄事先和其他“全球本地”配方提供调谐参数的解决方案,可以更好地实现同时秩稀疏和丢失值的恢复。我们发现这些全球本地先验优于常用的替代品在模拟和协同过滤任务预测棋盘游戏评级。
2019-05-27 stat.ME
Robust local empirical Bayes correction for Bayesian modeling
本文提出一种稳健的局部经验贝叶斯校正方法,用于贝叶斯建模,以区分并消除收入中的暂时性与永久性冲击,并在英国数据上验证了其效果。
2025-06-22 stat.AP stat.ME