Improved Sampling for Diagnostic Reasoning in Bayesian Networks
RMIT（皇家墨尔本理工大学）
贝叶斯网络在自动化大规模诊断推理任务中提供了巨大的潜力。吉布斯抽样是在大型的、高度互联的贝叶斯网络中进行诊断推理的主要技术。不幸的是，吉布斯采样可能需要过多的时间来生成代表性样本。在本文中，我们描述并测试了一些启发式策略，以提高采样噪声或贝叶斯网络。这些策略包括蒙特卡洛马尔可夫链抽样技术以外的吉布斯抽样。重点放在可以在分布式系统中实现的策略。
2013-02-20 cs.AI
Improved Bayesian Regret Bounds for Thompson Sampling in Reinforcement Learning
Toyota Motor North America（丰田北美汽车公司）；InfoTech Labs（信息技术实验室）；Purdue University（普渡大学）
本文为强化学习中的汤普森采样证明了多种设置下的首个贝叶斯遗憾界，通过离散替代环境与后验一致性分析获得$\widetilde{O}(H\sqrt{d_{l_1}T})$上界，并给出具体维数界限，部分结果为首次或优于现有最优。
2024-02-06 cs.AI cs.LG stat.ML
On Improved Regret Bounds In Bayesian Optimization with Gaussian Noise
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室应用科学计算中心）；National University of Singapore（新加坡国立大学）
本文在高斯噪声的频率学派设定下建立了高斯过程预测误差的新逐点界，并据此证明了GP-UCB和GP-TS累积遗憾界具有改进的收敛速率，该误差界还可推广到一般贝叶斯优化算法的收敛分析。
2024-12-25 cs.LG stat.ML
Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network
UCLA（加州大学洛杉矶分校）；UC Davis（加州大学戴维斯分校）
我们提出了一种新的算法来训练一个强大的神经网络对抗对抗攻击。我们的算法是由以下两个想法的动机。首先，尽管最近的工作已经证明融合随机性可以提高神经网络的鲁棒性（Liu 2017），但我们注意到，盲目地向所有层添加噪声并不是引入随机性的最佳方式。相反，我们在贝叶斯神经网络（BNN）的框架下对随机性进行建模，以可扩展的方式正式学习模型的后验分布。其次，我们制定了BNN的最小-最大问题，学习最好的模型分布下对抗攻击，导致一个对抗训练贝叶斯神经网络。实验结果表明，该算法在强攻击下具有较好的性能。在具有VGG网络的CIFAR-10上，与对抗训练（Madry 2017）和随机自集成（Liu 2017）相比，在具有$0.035$失真的PGD攻击下，我们的模型的准确率提高了14%，并且在ImageNet的子集上差距变得更大。
2019-05-04 cs.AI cs.CR cs.LG
Improved Acyclicity Reasoning for Bayesian Network Structure Learning with Constraint Programming
Université de Toulouse（图卢兹大学）；INRAE（法国国家农业食品与环境研究院）；AgroParisTech（巴黎高科农业学院）；Univ. Paris-Saclay（巴黎萨克雷大学）
贝叶斯网络是一种概率图模型，在基因调控网络推理、风险分析和图像处理等领域有着广泛的应用。从离散数据中学习贝叶斯网络（Bayesian Network，BNSL）的结构是一个NP难问题，其搜索空间是由有向无环图构成的超指数搜索空间。在这项工作中，我们提出了一个新的多项式时间算法，发现所有可能的集群切割的子集，一个贪心算法近似求解所产生的线性规划，和一个广义的弧一致性算法的非循环约束。我们嵌入这些约束programmingbased分支定界求解器CPBayes，并表明，尽管是次优的，他们提高性能的数量级。由此产生的求解器也比较有利的GOBNILP，一个国家的最先进的求解器的BNSL的问题，解决了NP难的问题，发现每个削减和解决线性规划。
2021-06-23 cs.AI cs.LG
Improved Bayesian Compression
神经网络的压缩是近年来研究的热点问题。其主要原因是对NN的工业规模使用的需求，例如将它们部署在移动设备上，有效地存储它们，通过带限信道传输它们，最重要的是进行大规模推理。在这项工作中，我们建议加入软权重共享和变分丢弃方法，这些方法显示出强有力的结果，以定义模型压缩方面的新的最先进技术。
2017-12-07 stat.ML
Addressing Census data problems in race imputation via fully Bayesian Improved Surname Geocoding and name supplements
Harvard University（哈佛大学）；Institute for Quantitative Social Science（定量社会科学研究所）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Harvard Data Science Initiative（哈佛大学数据科学计划）；L2, Inc.（L2公司）
个体的种族和民族预测在社会科学和公共卫生研究中具有重要作用。这方面的例子包括对健康和选举方面的种族差异的研究。最近，贝叶斯改进的姓氏地理编码（BISG），它使用贝叶斯规则结合人口普查姓氏文件的信息与个人居住地的地理编码，已成为这一预测任务的领先方法。不幸的是，BISG遭受两个人口普查数据问题，导致少数民族的预测性能不令人满意。首先，十年一次的人口普查在少数民族群体的一些成员居住的人口普查区往往没有对这些群体的计数。第二，由于人口普查姓氏档案只包括常见的名字，许多姓氏-特别是少数民族的姓氏-没有列入名单。为了解决零计数的问题，我们引入了一个完全贝叶斯改进姓氏地理编码（fBISG）的方法，占人口普查计数的潜在测量误差，通过扩展天真的贝叶斯推断的BISG方法，充分后验推理。为了解决姓氏缺失的问题，我们补充了人口普查姓氏数据，并从六个南部州的选民档案中获取了姓氏、名字和中间名的额外数据，这些州的选民档案中有自我报告的种族。我们的实证验证表明，fBISG方法和名称补充显着提高了所有种族群体的种族插补的准确性，特别是对亚洲人。拟议的方法，连同其他名称数据，可通过开源软件WRU。
2022-08-31 cs.LG stat.ML
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University（爱荷华州立大学）
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集，并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
提出了一种改进的多目标贝叶斯优化算法MESMOC+。MESMOC+可以用来解决约束多目标问题时，目标和约束是昂贵的评估。MESMOC+通过最小化函数空间中优化问题的解的熵来工作，即，帕累托边界，来指导寻找最优解。MESMOC+的成本与目标和约束的数量成线性关系。此外，它通常比基于最小化帕累托集熵的替代方法的成本小得多。其原因是在MESMOC+中更容易近似所需的计算。此外，MESMOC+的采集功能表示为每个黑盒（目标或约束）一次采集的总和。因此，它可以用于解耦的评估设置，其中不仅选择要评估的下一个输入位置，而且还选择要评估的黑盒。我们比较MESMOC+与相关的方法在合成和真正的优化问题。实验结果表明，MESMOC+提供的熵估计比以往的方法更准确。这导致更好的优化结果。MESMOC+与其他基于信息的约束多目标贝叶斯优化方法相比也具有竞争力，但速度明显更快。
2021-04-02 cs.LG stat.ML
Improved Regret Bounds for Gaussian Process Upper Confidence Bound in Bayesian Optimization
LY Corporation（LY公司）
本文改进了高斯过程上置信界在贝叶斯优化中的 regrets 上限，通过分析 Matérn 核和平方指数核下的性能，填补了现有界限与 Scarlett (2018) 界限之间的空白。
2026-10-28 cs.LG stat.ML
A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research（微软研究院）
最近，一些研究人员研究了使用数据来学习贝叶斯网络的技术，该网络包含存储在每个节点处的条件概率分布（CPD）的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外，研究人员通常应用非贝叶斯（或渐近贝叶斯）评分函数（如MDL）来评估网络对数据的拟合优度。在本文中，我们研究了贝叶斯方法来学习贝叶斯网络，包含更一般的决策图表示的CPD。首先，我们描述了如何评估后验概率，也就是这样一个网络的贝叶斯得分，给定一个数据库的观察情况。其次，我们描述了各种搜索空间，可以使用，结合评分函数和搜索过程，以确定一个或多个高分网络。最后，我们提出了一个实验评估的搜索空间，使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
A Comprehensively Improved Hybrid Algorithm for Learning Bayesian Networks: Multiple Compound Memory Erasing
Northeastern University（东北大学）
利用贝叶斯网络来分析节点之间的因果关系是一个研究热点。现有的网络学习算法主要是基于约束和基于得分的网络生成方法。基于约束的方法主要是条件独立性（CI）检验的应用，但CI检验在高维小样本情况下的不准确性一直是基于约束的方法存在的问题。基于得分的方法利用得分函数和搜索策略寻找最优的候选网络结构，但搜索空间随着节点数的增加而增加过多，学习效率很低。本文提出了一种新的混合擦除算法MCME（multiple compound memory erasing）。该方法保留了前两种方法的优点，解决了上述CI测试的不足，并在方向判别阶段的评分函数上进行了创新。大量的实验表明，MCME具有优于或接近现有的一些算法的性能。
2022-12-05 cs.AI cs.LG
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Bayesian optimization with improved scalability and derivative information for efficient design of nanophotonic structures
我们提出了组合的前向形状导数和使用贝叶斯优化的迭代反演方案，以找到最佳设计的纳米光子器件。这种方法扩大了贝叶斯优化的适用范围，需要大量的迭代和衍生信息的情况下。这在以前是不切实际的，因为识别参数空间中的下一个评估点所需的计算工作量变得比目标函数的实际评估大得多。我们展示了一个实现的方法，通过优化波导边缘耦合器。
2021-01-08 physics.comp-ph physics.optics stat.ML
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology（KTH皇家理工学院）；Science for Life Laboratory（生命科学实验室）
针对现有VBPI框架难以处理树拓扑后验多模态的问题，提出结合BBVI领域混合学习进展的VBPI-Mixtures算法，可建模VBPI无法捕捉的树拓扑分布，在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
A Note on Bayesian Networks with Latent Root Variables
IDSIA（伊迪西亚研究所）
本文研究含潜在根变量的贝叶斯网络，提出经验贝叶斯网络概念，并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Improved Variational Bayesian Phylogenetic Inference with Normalizing Flows
变分贝叶斯系统发育推断（VBPI）提供了一个有前途的通用变分框架，有效地估计系统发育后验。然而，目前的对角对数正态分支长度近似将显着限制近似分布的质量。在本文中，我们提出了一种新型的VBPI，VBPI-NF，作为使用深度学习技术进行系统发育后验估计的第一步。通过使用精心设计的置换等变变换处理系统发育模型的非欧几里德分支长度空间，VBPI-NF使用规范化流来提供丰富的灵活分支长度分布家族，这些分支长度分布可以在不同的树拓扑中进行推广。我们表明，VBPI-NF显着改善香草VBPI的基准挑战真实数据贝叶斯系统发育推理问题。进一步的研究还表明，在这些置换等变变换中的结构化参数化可以提供额外的摊销收益。
2020-12-01 q-bio.PE stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
Embedded Bayesian Network Classifiers
Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
贝叶斯网络中局部分布函数的低维概率模型包括决策树、决策图和因果独立模型。我们描述了一个新的概率模型的离散贝叶斯网络，我们称之为嵌入式贝叶斯网络分类器或EBNC。给定父节点$\bf X$的节点$Y$的模型从用于$Y$和$\bf X$的（通常不同的）贝叶斯网络获得，其中$\bf X$不需要是$Y$的父节点。我们证明了EBNC是softmax多项式回归模型的一个特例。此外，我们将展示如何识别一个EBNC的非冗余参数集，并描述了一个渐近近似学习的贝叶斯网络，包含EBNC的结构。与决策树、决策图和因果独立模型不同，我们不知道使用这些模型的语义理由。需要实验来确定本文提出的模型是否在实践中是有用的。
2019-10-22 cs.AI cs.LG stat.ML
A Tutorial on Learning With Bayesian Networks
Microsoft Research（微软研究院）
贝叶斯网络是一种图形化模型，它对感兴趣的变量之间的概率关系进行编码。当与统计技术结合使用时，图形模型对数据分析有几个优点。第一，因为模型对所有变量之间的依赖关系进行了编码，所以它很容易处理某些数据录入丢失的情况。第二，贝叶斯网络可用于学习因果关系，因此可用于了解问题领域并预测干预的后果。第三，因为模型同时具有因果和概率语义，所以它是结合先验知识（通常以因果形式出现）和数据的理想表示。第四，贝叶斯统计方法结合贝叶斯网络提供了一种有效和原则性的方法来避免数据的过度拟合。在本文中，我们讨论了从先验知识构建贝叶斯网络的方法，并总结了贝叶斯统计方法，使用数据来改善这些模型。关于后一项任务，我们描述了学习贝叶斯网络的参数和结构的方法，包括使用不完整数据学习的技术。此外，我们将贝叶斯网络学习方法与监督和无监督学习技术联系起来。我们说明了图形建模方法使用现实世界的案例研究。
2022-01-10 cs.AI cs.LG stat.ML
An Improved and Extended Bayesian Synthetic Control
提出了一种改进和扩展的贝叶斯综合控制模型，扩展了Tuomaala 2019年的潜在因素模型。我们所做的更改包括：1）在模型拟合之前对数据进行标准化-这可以提高不同数据集的效率和泛化能力; 2）添加随时间变化的协变量; 3）添加具有多个治疗单位的能力; 4）在贝叶斯模型中拟合潜在因子;以及5）在自动调整潜在因子数量之前引入稀疏性。我们证明了估计值与Abadie，Diamond和Hainmueller 2010和Abadie，Diamond和Hainmueller 2015中的两个传统合成控制研究的相似性，并扩展到多个目标系列，其中一个新的例子是根据数字隐私法导致的数据收集变化估计数字网站访问量。
2021-03-30 stat.AP stat.ME
Improved fMRI-based Pain Prediction using Bayesian Group-wise Functional Registration
近年来，神经影像学经历了一个范式转变，从传统的大脑映射方法转向开发集成的，多变量的大脑模型，可以预测精神事件的类别。然而，在标准解剖对齐后，大脑解剖结构和功能定位的个体间差异仍然是进行这种分析的主要限制，因为它导致后续预测模型中受试者之间的特征不对齐。
2022-09-15 stat.AP stat.ME
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan（密歇根大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；BI Norwegian Business School（BI挪威商学院）；University of Brescia（布雷西亚大学）
在二阶不确定贝叶斯网络中，条件概率仅在分布内已知，即，概率大于概率Delta方法已被应用于扩展精确的一阶推理方法，通过贝叶斯网络派生的和-积网络传播均值和方差，从而表征认知不确定性或模型本身的不确定性。或者，二阶信念传播已被证明为多树，但不是一般的有向无环图结构。在这项工作中，我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置，从而产生二阶Loopy Belief Propagation（SOLBP）。对于二阶贝叶斯网络，SOLBP生成的推理与和积网络生成的推理一致，同时计算效率更高，可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
Advances in exact Bayesian structure discovery in Bayesian networks
我们考虑一个贝叶斯方法学习贝叶斯网络结构从完整的数据。最近，Koivisto和Sood（2004）提出了一种算法，对于任何一条边，都可以在O（n 2^n）时间内计算其边际后验概率，其中n是属性的数量;每个属性的父节点数量受一个常数的限制。本文证明了所有n（n - 1）条潜在边的后验概率可以在O（n2^n）总时间内计算。这个结果是通过一个向前向后的技术和快速Moebius变换算法，这是独立的利益。由此产生的约n^2倍的加速，使我们能够通过实验研究学习中等规模网络的统计能力。我们报告了一个模拟研究的结果，该研究涵盖了具有5到25个离散属性的20到10，000个记录的数据集
2012-06-27 cs.AI cs.LG stat.ML
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles（加州大学洛杉矶分校）
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构，文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时，启发式搜索算法适合搜索贝叶斯网络的等价类，而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间，可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
Towards Improved Variational Inference for Deep Bayesian Models
University of Cambridge（剑桥大学）
本文针对深度贝叶斯模型后验难处理与边际似然界不紧的问题，研究改进变分推断，提出参数/超参数划分、统一变分后验及利用对称性消除在 Gram 矩阵上推断的方法。
2024-01-23 cs.LG stat.ML
Bayesian Neural Networks: Essentials
IBM（国际商业机器公司）
贝叶斯神经网络利用概率层来捕获权重和激活的不确定性，并使用贝叶斯推理进行训练。由于这些概率层被设计成其确定性对应部分的直接替代，贝叶斯神经网络提供了一种直接和自然的方式来扩展传统的深度神经网络以支持概率深度学习。然而，由于贝叶斯神经网络的复杂性，理解、设计和训练贝叶斯神经网络是非常重要的。我们讨论了贝叶斯神经网络的本质，包括对偶（深度神经网络，概率模型），近似贝叶斯推理，贝叶斯先验，贝叶斯后验和深度变分学习。我们使用TensorFlow Probability API和代码示例进行说明。贝叶斯神经网络的主要问题是，深度神经网络的架构使得考虑大量连续层的不确定性变得非常冗余和昂贵。混合贝叶斯神经网络，它使用很少的概率层，公正地定位在网络中，提供了一个实用的解决方案。
2021-06-22 cs.AI cs.LG
Generalized Power Priors for Improved Bayesian Inference with Historical Data
Research Fellow, School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学学院研究员）；Professor, School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学学院教授）
本文提出广义幂先验，通过最小化Amari的$\alpha$-散度线性组合扩展传统幂先验，允许数据自适应选择$\alpha$参数，改进基于历史数据的贝叶斯推断性能，并揭示其几何性质。
2025-05-22 cs.LG math.ST stat.ML
On Regret Bounds of Thompson Sampling for Bayesian Optimization
Nagoya University（名古屋大学）；MI-6 Ltd.（MI-6公司）
本文针对高斯过程汤普森采样（GP-TS）方法，在目标函数为GP样本路径的假设下，推导了其遗憾下界、累积遗憾二阶矩上界、期望宽松遗憾上界以及改进的累积遗憾上界，填补了GP-TS在高概率遗憾界方面的空白。
2026-06-11 cs.LG stat.ML
An Improved Bayesian Semiparametric Model for Palaeoclimate Reconstruction: Cross-validation Based Model Assessment
基于化石的古气候重建是生态科学的一个重要领域，在全球气候变化辩论的背景下获得了动力。层次贝叶斯范式为研究这样重要的科学问题提供了一个有趣的平台。然而，我们的交叉验证为基础的评估现有的贝叶斯分层模型相对于两个现代的代理数据集的基础上摇蚊和花粉，分别显示，该模型是不够的数据集。在本文中，我们模拟的物种组合（组成数据）的零膨胀多项分布，而模拟的物种响应函数，基于Dirichlet过程的高斯混合。这种建模策略显着提高了性能，最近开发的模型充分性的正式贝叶斯测试表明，我们的新模型适用于两个现代数据集。此外，结合零膨胀假设，重要性恢复马尔可夫链蒙特卡罗（IRMCMC）和最近发展的基于变换的马尔可夫链蒙特卡罗（TMCMC），我们开发了一个强大的和有效的计算方法。
2013-12-12 stat.AP
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
Reparameterization of extreme value framework for improved Bayesian workflow
针对极值分析贝叶斯方法计算难、参数化影响算法效率的问题，提出基于单变量极值泊松过程的正交重参数化框架，提升了马尔可夫链蒙特卡洛收敛性，还可推导相关先验并验证后验，已应用于加龙河流量重现水平估计。
2023-06-09 stat.ME
BayesNDE: Bayesian Generative Modeling for Neural Density Estimation
Yale University（耶鲁大学）
BayesNDE提出基于贝叶斯生成建模的神经密度估计方法，无需可逆网络，通过样本特定后验构建自适应提议并利用桥接采样估计密度，在合成和真实数据集上提升了密度估计与异常检测性能。
2026-10-01 cs.AI cs.LG stat.ME
The Computational Power of Dynamic Bayesian Networks
University of Maryland（马里兰大学）
本文研究了定长动态贝叶斯网络的计算能力。虽然离散动态贝叶斯网络并不比隐马尔可夫模型更强大，但具有连续随机变量和连续父节点的离散子节点的动态贝叶斯网络能够执行图灵完备计算。利用现有的用于置信度传播的算法的修改版本，可以实时的进行这样的模拟。这一结果表明，动态贝叶斯网络可能比以前认为的更强大。因果模型和递归神经网络的关系也进行了讨论。
2016-03-19 cs.AI stat.ML
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology（太原理工大学）；Beihang University（北京航空航天大学）
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明，深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布，具有较高的精度。与传统的近似方法似然加权抽样算法相比，该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是，我们的方法可以在GPU上并行更容易，无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明，我们的模型饱和的训练样本的数量增长，我们不需要很多的训练样本，以获得合理的好结果。我们工作的另一个贡献是，我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
Learning Discrete Bayesian Networks from Continuous Data
Stanford University（斯坦福大学）
从原始数据中学习贝叶斯网络可以帮助深入了解变量之间的关系。虽然真实数据通常包含离散和连续值变量的混合，但许多贝叶斯网络结构学习算法假设所有随机变量都是离散的。因此，在学习贝叶斯网络时，连续变量经常被离散化。然而，离散化策略的选择对所得到的模型的准确性、速度和可解释性具有显著影响。针对贝叶斯网络中连续变量的离散化问题，提出了一种基于贝叶斯离散化原理的离散化方法，该方法具有二次复杂度，而不是其他标准方法中的三次复杂度。实验结果表明，该方法优于已有的最小描述长度算法。此外，本文还展示了如何将现有的方法融入到结构学习过程中，以离散化所有连续变量，同时学习贝叶斯网络结构。
2018-09-18 cs.AI cs.LG
Bayesian Discovery of Multiple Bayesian Networks via Transfer Learning
University of New Mexico（新墨西哥大学）；Google, Inc（谷歌公司）
具有有限数据的贝叶斯网络结构学习算法正用于系统生物学和神经科学等领域，以深入了解产生观测数据的底层过程。从有限的数据中学习可靠的网络是困难的，因此迁移学习可以通过利用来自相关任务的数据来提高学习网络的鲁棒性。现有的贝叶斯网络结构学习的迁移学习算法给出了一个单一的最大后验估计的网络模型。然而，许多其他模型可能同样可能，因此贝叶斯结构发现提供了更多信息的结果。贝叶斯结构发现算法估计诸如边缘的结构特征的后验概率。我们提出了贝叶斯结构发现的迁移学习，它允许我们探索相关任务之间共享和独特的结构特征。有效的计算要求我们将学习的客观因素转移到本地计算中，我们证明了这是由广泛的转移偏差。从理论上讲，我们证明了我们的方法的效率。从经验上讲，我们表明，与单任务学习相比，迁移学习能够更好地积极识别真正的边缘。我们将该方法应用于全脑神经成像数据。
2013-07-09 cs.LG stat.ML
Semiparametric Bayesian Networks
Universidad Politécnica de Madrid（马德里理工大学）
我们介绍半参数贝叶斯网络，结合参数和非参数条件概率分布。他们的目标是结合两个组件的优点：参数模型的有限复杂性和非参数模型的灵活性。我们证明了半参数贝叶斯网络推广了两种著名的贝叶斯网络：高斯贝叶斯网络和核密度估计贝叶斯网络。为此，我们考虑两个不同的条件概率分布所需的半参数贝叶斯网络。此外，我们提出了修改的两个著名的算法（贪婪爬山和PC）学习的半参数贝叶斯网络的结构数据。为了实现这一点，我们采用了基于交叉验证的评分函数。此外，使用验证数据集，我们应用早期停止标准来避免过拟合。为了评估所提出的算法的适用性，我们进行了详尽的实验合成数据采样混合线性和非线性函数，多元正态数据采样高斯贝叶斯网络，真实数据从UCI存储库，轴承退化数据。作为这个实验的结果，我们得出结论，该算法准确地学习参数和非参数组件的组合，同时实现与最先进的方法所提供的性能相媲美。
2021-09-07 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Inference in Graded Bayesian Networks
Hamburg University of Technology（汉堡工业大学）
机器学习提供了可以从数据中学习并对数据进行推断或预测的算法。贝叶斯网络是一类图形模型，它允许通过有向无环图来表示随机变量的集合及其条件依赖关系。本文利用观测变量边际分布的热带化，给出了贝叶斯网络隐随机变量的一种推断算法。通过限制分级网络的拓扑结构，将建立分级贝叶斯网络的推理算法，该算法逐级评估隐随机变量，并以这种方式产生隐变量的最可能状态。该算法可以看作是分级贝叶斯网络的Viterbi算法的推广版本。
2018-12-23 cs.AI stat.ML
On the Relative Expressiveness of Bayesian and Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Zhejiang University（浙江大学）
神经网络计算函数。神经网络的一个核心特性是它们是“通用逼近器“：对于给定的连续函数，存在一个神经网络，它可以任意地逼近它，只要有足够的神经元（和一些额外的假设）。相比之下，贝叶斯网络是一个模型，但它的每个查询都可以被视为计算一个函数。在本文中，我们确定了由神经网络计算的函数和由边缘贝叶斯网络查询计算的函数之间的一些关键区别，表明前者比后者更具表达力。此外，我们提出了一个简单的增强贝叶斯网络（一个测试运营商），这使得他们的边缘查询成为“通用近似。"
2018-12-21 cs.AI cs.LG
Learning Bayesian Networks with Incomplete Data by Augmentation
University of Amsterdam（阿姆斯特丹大学）
我们提出了新的算法，学习贝叶斯网络的缺失值的数据，使用数据增强的方法。通过将该问题转化为一个无数据缺失的标准贝叶斯网络学习问题，得到了一个精确的贝叶斯网络学习算法。据我们所知，这是这个问题的第一个精确算法。正如预期的那样，精确算法不能扩展到大的域。我们建立在精确的方法，使用爬山技术创建一个近似算法。该算法可扩展到大的域，只要一个合适的标准结构学习方法的完整的数据是可用的。我们进行了广泛的实验，以证明学习贝叶斯网络的好处，这种新的方法。
2016-10-09 cs.AI stat.ML
Bayesian improved cross entropy method with categorical mixture models
本文提出基于类别混合模型的贝叶斯改进交叉熵方法，通过加权MAP估计和广义EM算法缓解过拟合并估计静态网络稀有事件，数值实验表明其显著优于标准iCE方法。
2023-09-21 stat.AP stat.ME
Stochastic Bayesian Neural Networks
贝叶斯神经网络执行变分推理的权重，但后验分布的计算仍然是一个挑战。我们的工作建立在变分推理技术的baidu神经网络使用原来的证据下限。本文提出了一个随机贝叶斯神经网络，在该网络中，我们使用一个新的目标函数，我们命名为随机证据下限最大化的证据下限。我们使用测试RMSE和对数似然作为评估指标，在5个公开可用的UCI数据集上评估我们的网络。我们证明，我们的工作不仅击败了以前的最先进的算法，但也可扩展到更大的数据集。
2021-06-21 cs.LG stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
Context-Specific Refinements of Bayesian Network Classifiers
IE University（IE大学）；University of Valencia（瓦伦西亚大学）
本文提出基于分段树模型的上下文特定贝叶斯网络分类器，扩展TAN等模型，通过数据驱动学习提升分类准确性。
2024-05-28 cs.LG stat.ML
A Traveling Salesman Learns Bayesian Networks
United Technologies Research Center（联合技术研究中心）；University of Paderborn（帕德博恩大学）
贝叶斯网络的结构学习是机器学习应用中的一个重要问题。在这项工作中，我们提出了一种新的方法来学习贝叶斯网络的结构，使用适当构造的旅行商问题的解决方案。在我们的方法中，一个计算随机变量的最优排序（偏序集）使用旅行推销员问题的方法。这种排序显著地减少了用于计算贝叶斯网络的最终结构的后续贪婪优化的搜索空间。我们展示了我们在现实世界的人口普查和天气数据集上学习贝叶斯网络的方法。在这两种情况下，我们证明了该方法非常准确地捕捉随机变量之间的依赖关系。我们检查的准确性的预测的基础上独立的研究在这两个应用领域。
2012-11-20 cs.LG stat.ML
Free energy of Bayesian Convolutional Neural Network with Skip Connection
Tokyo Institute of Technology（东京工业大学）
本文研究带跳跃连接的贝叶斯卷积神经网络的自由能，证明其自由能上界不依赖过度参数化，且泛化误差具有类似性质。
2023-07-04 cs.LG stat.ML
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University（哈佛大学）
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解，其中深度增加所提供的后验灵活性消失，后验预测崩溃为浅高斯过程。在这里，我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习，使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说，这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology（卡弗里宇宙学研究所）；University of Cambridge（剑桥大学）；University of Sussex（萨塞克斯大学）
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的，但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具，完全边缘化所有后验模式，我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性，我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子，这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Maximum Margin Bayesian Networks
University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）
我们考虑学习贝叶斯网络分类器的问题，最大限度地提高了marginover一组分类变量。我们发现，这个问题是贝叶斯网络比无向图形模型，如最大利润马尔可夫网络更难。主要的困难是贝叶斯网络中的参数必须满足无向图模型不需要遵守的附加规范化约束。这些额外的约束使优化任务复杂化。尽管如此，我们得到了一个有效的训练算法，解决了贝叶斯网络拓扑结构的范围内的最大保证金训练问题，并收敛到任意网络拓扑结构的近似解。实验结果表明，当有向图结构编码相关知识时，该方法可以在马尔可夫网络上表现出更好的泛化性能。在实践中，训练技术允许将表示为定向（因果）模型的先验知识与最先进的判别学习方法相结合。
2012-07-04 cs.LG stat.ML
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
ReLU分类网络的点估计--可以说是最广泛使用的神经网络架构--已经被证明可以产生远离训练数据的任意高置信度。这种架构，结合最大后验估计方案，因此没有校准，也没有鲁棒性。近似贝叶斯推断已被经验证明，以改善神经网络中的预测不确定性，虽然这种贝叶斯近似的理论分析是有限的。我们从理论上分析了ReLU网络权重的近似高斯分布，并表明它们解决了过度自信问题。此外，我们表明，即使是一个简单的，因此便宜，贝叶斯近似，也解决了这些问题。这表明ReLU网络上校准不确定性的充分条件是“有点贝叶斯”。这些理论结果验证了最后一层贝叶斯近似的使用，并激发了一系列的可靠性成本权衡。我们通过使用常见的深度ReLU网络和拉普拉斯近似的各种标准实验进一步验证了这些发现。
2020-07-17 cs.LG stat.ML
