Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?
Huawei R&D UK(华为英国研发部);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
贝叶斯优化提出了一个样本效率的方法,为全球优化。在这个框架内,一个关键的性能确定子程序是最大化的采集功能,一个任务复杂的事实,即采集功能往往是非凸的,因此非平凡的优化。在本文中,我们进行了全面的实证研究的方法,以最大限度地提高收购功能。此外,通过推导新颖的,但数学上等价的,流行的采集功能的组成形式,我们重铸的最大化任务作为一个组成优化问题,使我们能够受益于广泛的文献在这一领域。我们强调的经验优势的合成方法,在3958个单独的实验,包括合成优化任务,以及贝叶斯标记的任务,以获取功能最大化。鉴于采集函数最大化子例程的一般性,我们认为,采用组合优化器有可能在贝叶斯优化目前正在应用的所有领域产生性能改善。
2020-12-17 cs.LG stat.ML
Incorporating functional summary information in Bayesian neural networks using a Dirichlet process likelihood approach
Aalto University(阿尔托大学)
贝叶斯神经网络(BNN)可以解释任意和认知的不确定性。然而,在BNN的先验知识往往是指定的权重,很少反映真正的先验知识,在大型和复杂的神经网络架构。我们提出了一种简单的方法,将先验知识的BNN的基础上外部汇总信息的预测分类概率为一个给定的数据集。可用的摘要信息被纳入增强数据和建模的狄利克雷过程,我们推导出相应的\emph{Summary Evidence Lower BOund}。该方法基于贝叶斯原理,所有超参数都有适当的概率解释。我们展示了该方法如何告知模型任务难度和类不平衡。大量的实验表明,可以忽略不计的计算开销,我们的方法平行,并在许多情况下优于流行的替代品的准确性,不确定性校准,并对腐败的鲁棒性与平衡和不平衡的数据。
2023-01-24 cs.AI cs.LG stat.ML
Differentiable TAN Structure Learning for Bayesian Network Classifiers
Graz University of Technology(格拉茨技术大学)
贝叶斯网络的结构学习是一个困难的组合优化问题。在本文中,我们考虑学习树增强朴素贝叶斯(TAN)结构的贝叶斯网络分类器与离散输入功能。所提出的方法不是在可能的图结构的空间上执行组合优化,而是学习图结构上的分布。在训练之后,我们选择这个分布的最可能的结构。这允许使用基于梯度的优化对贝叶斯网络参数及其TAN结构进行联合训练。所提出的方法是不可知的具体损失,只要求它是可微的。我们进行了广泛的实验,使用混合生成判别损失的基础上的判别概率余量。我们的方法始终优于随机TAN结构和Chow-Liu TAN结构。
2020-08-21 cs.AI cs.LG stat.ML
Structure Learning in Bayesian Networks of Moderate Size by Efficient Sampling
Iowa State University(爱荷华州立大学)
我们研究了贝叶斯模型平均方法来学习贝叶斯网络结构(DAG)的数据。我们开发了新的算法,包括第一个算法,能够有效地采样DAG根据确切的结构后验。然后,可以使用DAG样本来构建任何特征的后验估计。我们从理论上证明了我们的估计良好的性能和经验表明,我们的估计大大优于估计从以前的国家的最先进的方法。
2015-01-19 cs.AI cs.LG stat.ML
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles(加州大学洛杉矶分校)
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构,文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时,启发式搜索算法适合搜索贝叶斯网络的等价类,而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间,可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research(微软研究院)
最近,一些研究人员研究了使用数据来学习贝叶斯网络的技术,该网络包含存储在每个节点处的条件概率分布(CPD)的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外,研究人员通常应用非贝叶斯(或渐近贝叶斯)评分函数(如MDL)来评估网络对数据的拟合优度。在本文中,我们研究了贝叶斯方法来学习贝叶斯网络,包含更一般的决策图表示的CPD。首先,我们描述了如何评估后验概率,也就是这样一个网络的贝叶斯得分,给定一个数据库的观察情况。其次,我们描述了各种搜索空间,可以使用,结合评分函数和搜索过程,以确定一个或多个高分网络。最后,我们提出了一个实验评估的搜索空间,使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
Advances in exact Bayesian structure discovery in Bayesian networks
我们考虑一个贝叶斯方法学习贝叶斯网络结构从完整的数据。最近,Koivisto和Sood(2004)提出了一种算法,对于任何一条边,都可以在O(n 2^n)时间内计算其边际后验概率,其中n是属性的数量;每个属性的父节点数量受一个常数的限制。本文证明了所有n(n - 1)条潜在边的后验概率可以在O(n2^n)总时间内计算。这个结果是通过一个向前向后的技术和快速Moebius变换算法,这是独立的利益。由此产生的约n^2倍的加速,使我们能够通过实验研究学习中等规模网络的统计能力。我们报告了一个模拟研究的结果,该研究涵盖了具有5到25个离散属性的20到10,000个记录的数据集
2012-06-27 cs.AI cs.LG stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University(纽约大学)
随机不确定性捕获数据的固有随机性,例如测量噪声。在贝叶斯回归中,我们经常使用高斯观测模型,其中我们用噪声方差参数控制任意不确定性的水平。相比之下,对于贝叶斯分类,我们使用分类分布,没有机制来表示我们对任意不确定性的信念。我们的工作表明,明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准,例如CIFAR,基本上没有任意的不确定性。此外,我们表明,近似推理中的数据增强具有软化可能性的效果,导致信心不足,并深刻地歪曲了我们对任意不确定性的诚实信念。因此,我们发现,一个冷后验,由一个权力大于1,往往更诚实地反映了我们的信念,任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明,我们可以匹配或超过后回火的性能,通过使用狄利克雷观测模型,在那里我们明确地控制任意的不确定性的水平,而不需要任何回火。
2022-03-30 cs.LG stat.ML
Human-aided Multi-Entity Bayesian Networks Learning from Relational Data
George Mason University(乔治梅森大学)
人工智能(AI)系统是一个自治系统,它模仿人类的精神和身体活动,如观察,定向,决策和行动,称为OODA过程。执行OODA过程的AI系统需要语义丰富的表示来处理复杂的现实世界情况,并能够在不确定的情况下进行推理。多实体贝叶斯网络(MEBN)将一阶逻辑与贝叶斯网络相结合,用于表示和推理复杂,知识丰富的领域中的不确定性。MEBN超越了标准的贝叶斯网络,能够对未知数量的实体进行推理,这些实体在各种类型的关系中相互作用,这是人工智能系统OODA过程的关键要求。迄今为止,MEBN模型是由领域专家手动构建的。然而,手动MEBN建模是劳动密集型的,不够敏捷。为了解决这些问题,MEBN建模需要一种有效的方法。方法之一是使用机器学习从数据中整体或部分地学习MEBN模型。在大数据时代,以不确定性和复杂性为特征的数据丰富的环境已经变得无处不在。数据样本越大,机器学习方法的结果就越准确。因此,机器学习有潜力提高MEBN模型的质量以及MEBN建模的有效性。在本研究中,我们研究了一个MEBN学习框架,从领域专家的知识和数据相结合,开发一个MEBN模型。为了评估MEBN学习框架,我们进行了一个实验,比较MEBN学习框架和现有的手动MEBN建模的开发效率。
2018-06-06 cs.AI cs.LG stat.ML
Solving Bayesian Network Structure Learning Problem with Integer Linear Programming
London School of Economics and Political Science(伦敦政治经济学院)
本文研究了贝叶斯网络结构学习问题的整数线性规划(ILP)形式.我们回顾了贝叶斯网络的定义和关键属性,并解释了用于衡量某些贝叶斯网络结构与数据集拟合程度的得分度量。我们概述了整数线性规划公式的基础上分解的得分指标。为了确保结构的无环性,我们添加了专门为贝叶斯网络开发的“簇约束”,除了一般适用于有向无环图的循环约束。由于如果我们完全指定这些约束,这些约束的数量将是指数级的,因此我们解释了将它们添加为切割平面的方法,而无需在初始模型中声明它们。此外,我们开发了一个启发式算法,找到一个可行的解决方案的基础上的思想汇节点上有向无环图。我们实现了ILP制定和切割平面作为一个\textsf{Python}包,并提出了不同的设置在参考数据集上的实验结果。
2020-07-06 cs.AI cs.LG stat.ML
Bayesian Structure Scores for Probabilistic Circuits
Eindhoven University of Technology(埃因霍温理工大学);KU Leuven(鲁汶大学);Graz University of Technology(格拉茨理工大学)
概率回路(PC)是概率分布的一种重要表示,具有易处理的推理。虽然PC中的参数学习被严格研究,但结构学习往往更多地基于数学而不是原则性目标。在本文中,我们开发了贝叶斯结构分数的确定性PC,即,边缘化参数的结构似然,这是众所周知的严格的目标,结构学习的概率图模型。当在贪婪割集算法中使用时,我们的分数有效地防止过拟合,并产生快速且几乎无超参数的结构学习器,将其与以前的方法区分开来。在实验中,我们在训练时间和模型拟合之间取得了良好的权衡。此外,贝叶斯分数的原则性解锁PC的适应框架,如结构预期最大化。
2023-02-23 cs.AI cs.LG stat.ML
Some comments about A. Ronald Gallant's "Reflections on the Probability Space Induced by Moment Conditions with Implications for Bayesian Inference"
本文评论了Ronald Gallant(2015)关于从矩条件构建贝叶斯先验分布的思考。主要结论是,该文件没有提供一个工作原理,可以证明基于这种先验的推理。
2015-02-05 stat.CO stat.ME
Bayesian Optimization with Shape Constraints
在贝叶斯优化的典型应用中,对被优化的目标函数进行最小假设。即使研究人员有关于一个或多个参数的函数形状的先验信息,这也是正确的。我们的情况下,形状约束通常是适当的贝叶斯优化的至少两个重要的应用领域:(1)超参数调整的机器学习算法和(2)决策分析与效用函数。我们描述了一种方法,将各种形状的限制在通常的贝叶斯优化框架和目前的积极成果,从简单的应用程序表明,贝叶斯优化与形状的限制是一个有前途的课题,为进一步研究。
2016-12-28 stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University(清华大学)
贝叶斯神经网络(BNN)通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而,这样的模型面临的挑战,贝叶斯推理在一个高维的,通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构,而是从神经架构搜索中获得灵感来表示网络结构。然后,我们开发了一个有效的随机变分推理方法,它统一了网络结构和权重的学习。从经验上讲,我们的方法表现出有竞争力的预测性能,同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由,我们的建模选择。
2021-03-27 cs.LG stat.ML
A Generative Bayesian Model for Aggregating Experts' Probabilities
Stanford University(斯坦福大学)
为了改进预测,决策者通常将各种来源给出的概率结合起来,例如人类专家和机器学习分类器。当几乎没有训练数据可用时,可以通过合并关于被预测的事件和关于专家的显著属性的先验知识来改进聚合。为此,我们开发了一个生成贝叶斯聚集模型的概率分类。该模型包括一个事件特定的先验,个别专家的偏见,校准,准确性的措施,和专家之间的依赖性的措施。而不是需要绝对的措施,我们表明,聚合可以表示在专家之间的相对准确性。该模型的结果在一个加权对数意见池(LogOps),满足一致性标准,如外部贝叶斯属性。我们推导出独立的和可交换的专家的解析解。实证检验表明,该模型的使用,比较其准确性与其他聚合方法。
2012-07-11 cs.LG stat.ML
Conditional Bayesian Quadrature
University College London(伦敦大学学院);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学中心)
针对采样与被积函数评估成本高的场景,提出基于概率数值框架的条件贝叶斯求积方法,整合被积函数先验平滑性等信息,可量化不确定性、提升收敛速度,且经理论与多领域任务实证验证。
2024-06-24 cs.LG stat.CO stat.ML
Some comments about James Watson's and Chris Holmes' "Approximate Models and Robust Decisions": Nonparametric Bayesian clay for robust decision bricks
本文讨论了Watson和Holmes(2016)以及他们对更稳健的贝叶斯决策的支持。虽然我们承认并赞扬作者为贝叶斯鲁棒性设定了新的和包罗万象的原则,我们也欣赏这些原则在决策理论参考中的强大锚定,但我们仍然不确定这些原则在多大程度上可以应用于二元决策之外。我们还想知道Kullback-Leibler邻域的最终相关性,以增强鲁棒性,并有利于沿非参数轴的扩展。
2016-04-09 stat.CO stat.ME
Priors in Bayesian Deep Learning: A Review
ETH Zürich(苏黎世联邦理工学院)
虽然先验的选择是贝叶斯推断工作流程中最关键的部分之一,但最近的贝叶斯深度学习模型往往依赖于模糊的先验,例如标准高斯。在这篇综述中,我们强调了贝叶斯深度学习先验选择的重要性,并概述了(深度)高斯过程,变分自编码器和贝叶斯神经网络提出的不同先验。我们还概述了从数据中学习这些模型的先验知识的不同方法。我们希望激励贝叶斯深度学习的从业者更仔细地思考他们模型的先验规范,并在这方面为他们提供一些启发。
2022-03-18 cs.LG stat.ML
Monografía de Estadística Bayesiana
本文是贝叶斯统计导论的课程笔记,前三章详细阐述贝叶斯范式,第四章介绍决策论基础,进而在第五章将参数化贝叶斯推断作为决策问题引入。
2023-09-12 stat.OT
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Limbo: A Fast and Flexible Library for Bayesian Optimization
Imperial College London(帝国理工学院);Inria Nancy Grand - Est(法国国家信息与自动化研究所南锡-大东部研究中心);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
Limbo是一个用于贝叶斯优化的开源C++11库,它被设计为高度灵活和非常快速。它可用于优化梯度未知、求值昂贵且运行时成本重要的函数(例如,在嵌入式系统或机器人上)。标准函数的基准测试表明,Limbo比BayesOpt(另一个C++库)快2倍,但精度相似。
2016-11-22 cs.AI cs.LG cs.RO
Active multi-fidelity Bayesian online changepoint detection
Princeton University(普林斯顿大学);Arm ML Research Lab(Arm机器学习研究实验室)
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署,移动电话或工业传感器等边缘计算环境。在这些情况下,将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如,可以在惯性测量或GPS之间做出决定,以确定运动的变化点。贝叶斯变点检测方法特别有吸引力,因为我们可以表示关于变点的后验不确定性,并对数据保真度做出积极的、成本敏感的决策,以减少这种后验不确定性。此外,通过主动保真切换,总成本可以大大降低,同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法,使成本敏感的决定,收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成,视频和音频数据的框架进行了评估,并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
Max-value Entropy Search for Efficient Bayesian Optimization
Massachusetts Institute of Technology(麻省理工学院)
熵搜索(ES)和预测熵搜索(PES)是流行的和经验上成功的贝叶斯优化技术。两者都依赖于一个令人信服的信息理论的动机,并最大限度地提高所获得的信息有关的$\arg\max$的未知函数,然而,都受到昂贵的计算估计熵。我们提出了一个新的标准,最大值熵搜索(MES),而不是使用的最大函数值的信息。我们展示了MES与其他贝叶斯优化方法的关系,并建立了遗憾界。我们观察到MES保持或提高了ES/PES的良好经验性能,同时大大减轻了计算负担。特别地,MES对于用于计算熵的样本的数量更加鲁棒,因此对于更高维的问题更有效。
2018-01-02 cs.LG math.OC stat.ML
Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties
Deakin University(迪肯大学)
本文提出一种人机协作贝叶斯优化框架,将专家对未测量抽象属性的偏好纳入代理建模,并能处理误导性专家偏差,实验证明其优于基线方法。
2024-02-27 cs.LG stat.ML
An Analytically Tractable Bayesian Approximation to Optimal Point Process Filtering
基于点过程观测的动态状态估计(滤波)过程一般是难以处理的。数值采样技术通常在实践中很有用,但导致对最佳编码/解码策略的概念性见解有限,这与计算神经科学具有重要意义。我们开发了一个易于分析的贝叶斯近似最佳过滤点过程的观察,这使我们能够引入分布假设的感觉细胞的属性,这大大方便了分析的最佳编码的情况下偏离共同的假设统一编码的基础上。分析框架导致的见解,这是很难从数值算法中获得的,是一致的调谐曲线中心的分布与实验。有趣的是,我们发现,从没有尖峰获得的信息可能是至关重要的性能。
2015-07-28 q-bio.NC stat.ML
DiBS: Differentiable Bayesian Structure Learning
ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
贝叶斯结构学习允许从数据中推断贝叶斯网络结构,同时推理认知不确定性-这是实现主动因果发现和设计现实世界系统干预措施的关键要素。在这项工作中,我们提出了一个一般的,完全可微的框架贝叶斯结构学习(DiBS),在连续空间的潜在概率图表示。与现有的工作相反,DiBS是不可知的形式的局部条件分布,并允许联合后验推理的图形结构和条件分布参数。这使得我们的公式直接适用于复杂贝叶斯网络模型的后验推理,例如,由神经网络编码的非线性相关性。使用DiBS,我们设计了一个有效的,通用的变分推理方法近似分布结构模型。在模拟和真实世界的数据的评估,我们的方法显着优于相关的联合后验推理方法。
2021-12-16 cs.LG stat.ML
Bayesian Discovery of Multiple Bayesian Networks via Transfer Learning
University of New Mexico(新墨西哥大学);Google, Inc(谷歌公司)
具有有限数据的贝叶斯网络结构学习算法正用于系统生物学和神经科学等领域,以深入了解产生观测数据的底层过程。从有限的数据中学习可靠的网络是困难的,因此迁移学习可以通过利用来自相关任务的数据来提高学习网络的鲁棒性。现有的贝叶斯网络结构学习的迁移学习算法给出了一个单一的最大后验估计的网络模型。然而,许多其他模型可能同样可能,因此贝叶斯结构发现提供了更多信息的结果。贝叶斯结构发现算法估计诸如边缘的结构特征的后验概率。我们提出了贝叶斯结构发现的迁移学习,它允许我们探索相关任务之间共享和独特的结构特征。有效的计算要求我们将学习的客观因素转移到本地计算中,我们证明了这是由广泛的转移偏差。从理论上讲,我们证明了我们的方法的效率。从经验上讲,我们表明,与单任务学习相比,迁移学习能够更好地积极识别真正的边缘。我们将该方法应用于全脑神经成像数据。
2013-07-09 cs.LG stat.ML
How Well Do Prior-Data Fitted Networks Amortize Bayesian Inference?
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究针对先验数据拟合网络(PFNs)的贝叶斯推理摊销效果,分解其部署误差并开展实验,发现PFNs在罕见场景中存在残余摊销误差,采用贝叶斯模型平均可降低不确定性并提升预测性能。
2026-10-19 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Visualization in Bayesian workflow
贝叶斯数据分析不仅仅是计算后验分布,贝叶斯可视化不仅仅是马尔可夫链的迹线图。实际的贝叶斯数据分析,像所有的数据分析,是一个迭代的过程,模型建立,推理,模型检查和评估,模型扩展。可视化在贝叶斯工作流程的每个阶段都很有帮助,并且在从应用研究人员使用的现代高维模型类型中进行推断时是不可或缺的。
2018-06-09 stat.AP stat.ME
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto(多伦多大学);Stanford Unviersity(斯坦福大学)
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中,每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置,产生任意灵活的近似后验。我们还得到了一个新的梯度估计,接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较,同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
From Science to Management: Using Bayesian Networks to Learn about Lyngbya
大型鞘丝藻的有毒水华发生在世界各地的沿海地区,具有重大的生态、健康和经济后果。导致这些水华的确切原因和因素组合尚不清楚。林比亚专家和利益相关者是一个特别多样化的群体,包括生态学家,科学家,州和地方政府代表,社区组织,集水行业团体和当地渔民。开发了一种综合贝叶斯网络方法,以更好地理解和模拟这一复杂的环境问题,确定知识差距,优先考虑未来的研究和评估管理方案。
2014-05-19 q-bio.PE stat.ME
Bayesian estimation for large scale multivariate Ornstein-Uhlenbeck model of brain connectivity
Center for Brain and Cognition(脑与认知中心);University Pompeu Fabra(庞培法布拉大学);Columbia University(哥伦比亚大学)
可靠的全脑连接的估计是一个关键的一步,使用定量的方法来研究神经精神疾病的连接信息。当估计大脑连接性时,时间样本的缺乏和测量的大维度带来了挑战。贝叶斯网络模型的估计方法在这方面提供了许多优势,但并不常用。在这里,我们比较了三种不同的估计方法的多变量Ornstein-Uhlenbeck模型,最近获得了一些流行的特征全脑连接。我们首先表明,贝叶斯估计的模型参数假设一致的先验是等效的矩量法的应用。然后,使用合成数据,我们表明,贝叶斯估计规模与网络中的节点数相比,迭代李雅普诺夫优化。特别是当网络大小是用于全脑研究的顺序(约100个节点)时,贝叶斯方法需要比李雅普诺夫方法多约8倍的时间样本,以达到相似的估计精度。我们还表明,更高的估计精度的李雅普诺夫方法是反映在一个更好的分类的基础上估计连接从一个真正的数据集BOLD功能磁共振成像的个人。最后,我们表明,贝叶斯方法的精度差是由于数值误差,当虚部的连接估计得到大相比,其实部。
2018-05-25 cs.LG stat.ML
Low Latency Anomaly Detection and Bayesian Network Prediction of Anomaly Likelihood
我们开发了一个有监督的机器学习模型,可以实时的检测系统中的异常。我们的模型将无限的数据流处理成时间序列,然后形成低延迟异常检测模型的基础。此外,我们扩展我们的初步目标,只是异常检测到同步异常预测。我们通过开发一个贝叶斯网络框架来解决这个非常具有挑战性的问题,该框架捕获了在我们方法的第一部分中校准的滞后回归量的参数信息,并使用该结构来学习局部条件概率分布。
2016-11-11 cs.LG stat.ML
Learning Arbitrary Quantities of Interest from Expensive Black-Box Functions through Bayesian Sequential Optimal Design
GE Research(通用电气研究中心);Purdue University(普渡大学)
由于缺少领域知识和有限的预算,估计任意感兴趣的数量(QoI)是复杂的,昂贵的评估,黑盒函数的非线性算子是一个具有挑战性的问题。贝叶斯最优实验设计(Bayesian optimal design of experiments,BODE)是一种在不同背景下识别最优实验设计(optimal design of experiments,DOE)的方法,仅用于有限数量的函数评估。在BODE方法下,序贯实验设计(SDOE)通过选择最优的实验序列来完成这一任务,同时使用数据驱动的概率代理模型来代替昂贵的黑箱函数。从代理模型的概率预测被用来定义一个信息获取函数(IAF),它量化的边际值贡献或预期的信息获得一个假设的实验。通过最大化IAF来选择下一个实验。一般适用的IAF是关于QoI的预期信息增益(EIG),如通过在进行假设实验之后的QoI的预测分布与关于相同QoI的当前预测分布之间的库尔贝克-莱布勒散度的预期所捕获的。我们建模的基础信息源作为一个完全贝叶斯,非平稳的高斯过程(FBNSGP),并推导出一个近似的信息增益的假设实验的任意QoI条件下的超参数的EIG相同的QoI估计的样本平均值,以整合后验的超参数和潜在的实验结果。我们证明了我们的方法在四个数值例子和一个实际的工程问题的钢丝制造的性能。该方法进行了比较,两个经典的SDOE方法:随机抽样和不确定性抽样。
2019-12-16 cs.LG stat.ME stat.ML
Algorithms and Complexity Results for Exact Bayesian Structure Learning
贝叶斯结构学习是一个NP难问题,即发现一个最佳表示给定训练数据集的贝叶斯网络。在本文中,我们研究了计算的最坏情况下的复杂性的精确贝叶斯结构学习的图论限制的超结构。超结构(Perrier,Imoto和Miyano在JMLR 2008中引入的概念)是一个无向图,包含解网络的骨架作为子图。我们的研究结果适用于基于分数的贝叶斯结构学习的几个变体,其中网络的分数分解为其节点的局部分数。结果如下:我们证明了,如果超结构具有有界树宽,精确贝叶斯结构学习可以在非均匀多项式时间内进行,如果超结构具有有界最大度,精确贝叶斯结构学习可以在线性时间内进行。我们补充了一些硬度结果。我们表明,这两个限制(树宽和程度)是必不可少的,不能被丢弃而不失去统一的多项式时间的易处理性(受复杂性理论的假设)。此外,我们表明,如果我们不搜索全局最优网络,但我们的目标是通过最多k个弧添加,弧删除或弧反转(k邻域局部搜索)来改善给定的网络,则这些限制仍然是必不可少的。
2012-03-15 cs.DS cs.LG stat.ML
Reflecting about Selecting Noninformative Priors
在对Escheran et al.(2012)的批判性评论之后,我们反思了贝叶斯统计中最重要的方面,即先验密度的选择。在某些情况下,贝叶斯推断在大范围的无信息先验分布下保持相当稳定。然而,正如\citet{Hd}所讨论的那样,选择无信息先验也可能产生意想不到的后果,这些作者认为贝叶斯研究忽略了这个问题。由于他们的论证基于四个例子,我们重新评估这些例子和他们的贝叶斯处理通过不同的先验选择。我们的结论是降低对先验影响的担忧程度,表现出后验分布的总体稳定性。因此,我们认为,虽然值得称赞,但Dahan et al.(2012)的警告并没有危及大多数非信息性先验的使用。
2014-07-22 math.ST stat.ME stat.TH
Solving the Baby Intuitions Benchmark with a Hierarchically Bayesian Theory of Mind
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
为了促进新模型的开发,以弥合机器和人类社会智能之间的差距,最近提出的婴儿直觉基准(arXiv:2102.11938)提供了一套任务,旨在评估常识推理有关代理的目标和行动,甚至年幼的婴儿表现。在这里,我们提出了一个原则性的贝叶斯解决方案,这个基准,基于层次贝叶斯理论的心(HBToM)。通过包括代理目标和处置的分层先验,我们的HBToM模型的推理,使代理的效率和偏好的少样本学习,然后可以用于对后续代理行为的常识性判断。这种方法在大多数基准任务上实现了近乎完美的准确性,优于深度学习和模仿学习基线,同时产生可解释的类人推理,展示了人类社会认知的结构化贝叶斯模型的优势。
2022-08-04 cs.AI
Efficient Exploration in Binary and Preferential Bayesian Optimization
Sorbonne Université(索邦大学);INSERM(法国国家健康与医学研究院);CNRS(法国国家科学研究中心);Institut de la Vision(视觉研究所)
贝叶斯优化(BO)是优化昂贵的黑盒函数的有效方法,其寻求在利用(选择可能最大值的参数)和探索(选择我们对目标函数不确定的参数)之间进行权衡。在许多现实世界的情况下,目标函数的直接测量是不可能的,只有二进制测量,如成功/失败或成对比较。为了在这种情况下进行有效的探索,我们表明,BO算法区分不同类型的不确定性是很重要的:认识不确定性,关于未知的目标函数,和任意的不确定性,这来自噪声观测,不能减少。实际上,只有前者对有效的探索才是重要的。在此基础上,我们提出了几个新的采集函数,在二进制和优先BO中优于最先进的算法,同时计算速度快,易于实现。然后,我们将这些获取规则推广到批量学习,其中同时执行多个查询。
2021-10-18 cs.LG math.OC stat.ML
Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG
R包BiDAG实现了马尔可夫链蒙特卡罗(MCMC)方法,用于贝叶斯网络的结构学习和采样。该软件包包括搜索最大后验(MAP)图和从给定数据的后验分布中采样图的工具。一种新的混合结构学习方法可以在大型图中进行推理。在第一步中,我们通过PC算法或基于先验知识定义一个缩减的搜索空间。在第二步中,迭代顺序MCMC方案进行优化的限制搜索空间内,估计MAP图。从后验分布采样是使用顺序或分区MCMC。模型和算法可以处理离散和连续数据。BiDAG包还提供了MCMC方案的实现,用于动态贝叶斯网络的结构学习和采样。
2021-05-02 stat.CO stat.ML
The Design and Implementation of a Bayesian Data Analysis Lesson for Pre-Service Mathematics and Science Teachers
本文介绍了一项面向35名职前数学与科学教师的贝叶斯数据分析活动及其Web应用,旨在间接将贝叶斯方法引入K-12教育,并探讨未来方向。
2023-04-03 stat.OT
On Reconstructing Training Data From Bayesian Posteriors and Trained Models
Alan Turing Institute(艾伦·图灵研究所)
针对模型参数公开导致的训练数据重建风险,本文建立数学分析框架,借助最大均值差异刻画脆弱特征,并提出适用于贝叶斯与非贝叶斯模型的分数匹配重建方法。
2025-07-24 cs.LG math.ST stat.ML
Dropout as a Bayesian Approximation: Appendix
我们证明了一个具有任意深度和非线性的神经网络,在每个权重层之前应用dropout,在数学上等价于一个众所周知的贝叶斯模型的近似。这种解释可以解释dropout的一些关键属性,例如它对过拟合的鲁棒性。我们的解释允许我们对深度学习中的不确定性进行推理,并允许以原则性的方式将贝叶斯机制引入现有的深度学习框架。本文是Gal和Ghahramani在2015年发表的主要论文“Dropout as a Bayesian Approximation:Representing Model Uncertainty in Deep Learning”的附录。
2016-05-25 stat.ML
A robust Bayesian bias-adjusted random effects model for consideration of uncertainty about bias terms in evidence synthesis
荟萃分析是一种用于证据合成的统计方法,用于合并、分析和总结具有相同目标终点的研究,旨在使用固定和随机效应模型或网络模型得出汇总的定量估计值。纳入研究之间的差异取决于目标人群的差异(即异质性)以及研究设计和执行导致的研究质量差异(即偏倚)。偏倚风险通常采用批判性评价进行定性评估,定量偏倚分析可用于评估偏倚对感兴趣数量的影响。我们提出了一种方法来考虑无知或模糊性,在如何量化偏差分析中的偏差项,通过不精确性(作为概率界限)来表征偏差,并使用鲁棒贝叶斯分析来估计整体效果。稳健贝叶斯分析在这里被视为在一组相干概率分布上执行的贝叶斯更新,其中该组来自一组偏差项。我们展示了如何根据对偏差相对大小的判断来指定偏差项的集合(即,低、不清楚和高偏倚风险)。为了说明,我们应用了一个强大的贝叶斯偏倚调整随机效应模型,已经发表的荟萃分析利妥昔单抗对类风湿关节炎的影响,从Cochrane系统评价数据库。
2022-04-22 stat.AP stat.ME
A Bayesian Semiparametric Approach to Learning About Gene-Gene Interactions in Case-Control Studies
基因-基因互作通常被认为在影响复杂性状的变异中起着重要作用。虽然对这一领域进行了大量研究,但迄今为止似乎还缺乏一个全面的统计模型,以解决各种不确定性的来源。在本文中,我们提出并发展了一种新的贝叶斯半参数方法,该方法由基于Dirichlet过程的有限混合物和分层矩阵-正态分布组成,可以全面地考虑未知数量的子种群和基因-基因相互作用。然后,通过制定新的和合适的贝叶斯检验的假设,我们试图挑出的基因的作用,单独的,并与其他基因的相互作用,在病例对照研究。我们还试图确定与疾病相关的重要位点。我们的模型有利于一个高效的并行计算方法,结合吉布斯抽样和基于变换的MCMC(TMCMC)。将我们的想法应用于生物现实数据集,显示出相当令人鼓舞的表现。我们还将我们的想法应用于一个真实的心肌梗死数据集,并获得了有趣的结果,部分同意,也补充了这一领域的现有工作,揭示了基因-基因相互作用的复杂和现实的建模的重要性。
2018-04-17 stat.AP
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型,在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式,表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现,这使得收敛到后验非常快。
2014-01-30 stat.ML
Bayesian radiocarbon modelling for beginners
由于可免费获得的定制软件,贝叶斯统计正在迅速成为考古年代学构建的主导范式。这样的软件为用户提供了强大的工具,贝叶斯推断的时序模型,几乎不需要进行正式的研究统计建模或计算机编程。这有可能使其沦为黑箱状态,考虑到其实现的建模工具的功能和复杂性,这是不明智的。在本文中,我们试图提供直观的见解,以确保读者从考古研究界谁使用贝叶斯时序建模软件将能够更好地作出良好的教育选择的工具和技术,他们采用。我们希望他们能够更好地了解自己的研究设计,并更好地准备对其他人进行的建模进行建设性的批判性评估。
2017-04-24 stat.AP
Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces
在实际的贝叶斯优化中,我们必须经常搜索具有不同数量参数的结构。例如,我们可能希望搜索具有未知层数的神经网络架构。为了关联针对不同架构收集的性能数据,我们为条件参数空间定义了一个新的内核,该内核显式地包含有关给定结构中哪些参数相关的信息。我们表明,该内核提高了模型的质量和贝叶斯优化结果比几个简单的基线内核。
2014-09-14 stat.ML
Marginally Constrained Nonparametric Bayesian Inference through Gaussian Processes
非参数贝叶斯模型通常用作复杂数据的灵活和强大的模型。很多时候,统计学家可能对感兴趣的数据分布有额外的信息信念,例如,它的均值或子集分量,不是非参数先验的一部分,甚至与非参数先验不相容。一个重要的挑战是将这种部分先验信念纳入非参数贝叶斯模型。在本文中,我们的动机设置从业者有额外的分布信息的一个子集的坐标的观测建模。我们的方法将这个问题与条件密度模型联系起来。我们的主要思想是一种新的约束贝叶斯模型,基于一个扰动的参数分布与变换高斯过程之前的扰动函数。我们还开发了相应的后验抽样方法的基础上的数据增强。我们说明了我们提出的约束非参数贝叶斯模型在各种现实世界的情况下,包括建模环境和地震数据的有效性。
2022-11-05 stat.CO stat.ME
Unbounded Bayesian Optimization via Regularization
贝叶斯优化是近年来兴起的一种全局优化和超参数整定的有效工具。目前,已建立的贝叶斯优化实践需要用户定义的边界框,该边界框被假定为包含优化器。然而,当对探测的目标函数知之甚少时,可能很难规定这样的界限。在这项工作中,我们修改了标准的贝叶斯优化框架的原则性的方式,允许自动搜索空间。我们介绍了两种替代方法,并比较它们在两个常见的合成基准测试功能,以及调整随机梯度下降优化器的多层感知器和卷积神经网络MNIST的任务。
2015-08-14 stat.ML
Holes in Bayesian Statistics
每一种哲学都有漏洞,指出这些问题是哲学支持者的责任。以下是贝叶斯数据分析中的一些漏洞:(1)条件概率的通常规则在量子领域失败,(2)平坦或弱先验导致对我们关心的事情的可怕推断,(3)主观先验是不连贯的,(4)贝叶斯决策选择了错误的模型,(5)贝叶斯因子在平坦或弱先验存在的情况下失败,(6)由于Cantorian的原因,我们需要检查我们的模型,但这破坏了贝叶斯推理的一致性。贝叶斯统计的一些问题是由于人们试图做他们不应该做的事情而产生的,但其他漏洞并不那么容易修补。特别是,避免平坦的、弱的或传统的先验可能是一个好主意,但如果遵循这样的建议,将违背绝大多数贝叶斯实践,并要求我们面对贝叶斯推理的基本不一致性。这并不意味着我们认为贝叶斯推理是一个坏主意,但它确实意味着贝叶斯逻辑和贝叶斯工作流之间存在紧张关系,我们认为只有将贝叶斯逻辑视为一种工具,一种揭示模型假设中不可避免的不匹配和不连贯性的方式,而不是将其本身视为目的,才能解决这一问题。
2020-11-10 math.ST stat.ME stat.TH
Combining interdependent climate model outputs in CMIP5: A spatial Bayesian approach
对未来气候变化的预测在很大程度上依赖于气候模型,通过多模型集合将气候模型结合起来不仅比单一气候模型更准确,而且对不确定性量化也很有价值。然而,贝叶斯方法的多模型集成已被批评,使过于简化的假设偏差和变异性,以及处理不同的模型作为统计独立的。本文通过明确解释空间变异性和模型间依赖性,扩展了Sansom等人(2017)的贝叶斯分层方法。我们提出了一个贝叶斯层次模型,占气候模型和观测,空间和模型间的依赖性,历史和未来时期之间的紧急关系,自然变率之间的偏差。大量的模拟表明,我们的模型提供了更好的估计和不确定性量化比常用的简单模型的意思。这些结果使用CMIP 5模型档案中的数据进行了说明。例如,对于北美洲中部,我们预测的2070- 2100年的平均温度比简单模式平均值低0.8 K,而对于东亚,它高出约0.5 K;然而,在这两种情况下,90%可信区间的宽度都在3- 6 K的数量级,因此不确定性压倒了预测平均温度中相对较小的差异。
2020-02-26 stat.AP
Bayesian optimization using sequential Monte Carlo
SUPELEC(巴黎高等电力学院)
我们认为,使用贝叶斯方法,其中$f$的评价是通过结合有关$f$,这是由一个随机过程模型,和过去的评价结果的先验信息顺序选择的实值连续函数$f$的优化问题。这种方法的主要困难是能够计算用于选择评估点的感兴趣的量的后验分布。在本文中,我们决定使用顺序蒙特卡罗(SMC)方法。
2011-11-21 cs.LG math.OC stat.CO
Beyond Uniform Priors in Bayesian Network Structure Learning
贝叶斯网络结构学习通常在贝叶斯设置中执行,使用给定数据集的后验概率评估候选结构。然后,基于分数的算法使用这些后验概率作为目标函数,并返回最大后验网络作为学习模型。对于离散贝叶斯网络,后验得分的规范选择是具有均匀(U)图先验的贝叶斯狄利克雷等效均匀(BDeu)边缘似然,其假设网络结构和网络参数都具有均匀先验。在本文中,我们调查这些假设所产生的问题,专注于小样本量和稀疏数据所造成的问题。然后,我们提出了一种替代后验分数:贝叶斯狄利克雷稀疏(BD)边缘似然与边缘均匀(MU)图先验。与U+BDeu一样,MU+ BD不需要任何关于数据概率结构的先验信息,可以用作替代非信息性得分。我们研究了它的理论特性,并在广泛的模拟研究中评估了它的性能,结果表明MU+ BD在学习网络结构方面比U+BDeu更准确,在预测功率方面也更有竞争力,同时计算上并不复杂。
2017-04-12 stat.ME stat.ML