A Variational View on Bootstrap Ensembles as Bayesian Inference
EURECOM（欧洲通信学院）
在本文中，我们采用变分参数之间建立联系的集成方法神经网络和贝叶斯推理。我们考虑一个基于集合的方案，其中每个模型/粒子对应于通过参数引导和先验扰动的数据的扰动。我们推导出的条件下，任何粒子的优化步骤，使相关的分布减少其发散到模型参数的后验。这些条件不需要任何特定的近似形式，它们纯粹是几何的，可以让我们深入了解一些有趣的模型上的集合行为，例如具有ReLU激活的神经网络。实验证实，集成方法可以是一个有效的替代近似贝叶斯推理的理论发展的文件试图解释这种行为。
2020-06-08 cs.LG stat.ML
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles（加州大学洛杉矶分校）
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构，文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时，启发式搜索算法适合搜索贝叶斯网络的等价类，而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间，可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
Efficient Approximations for the Marginal Likelihood of Incomplete Data Given a Bayesian Network
Microsoft Research（微软研究院）；University of California（加利福尼亚大学）
我们讨论了当数据集不完整时学习贝叶斯网络的贝叶斯方法。特别是，我们研究贝叶斯网络的不完整数据的边际似然的渐近近似。我们考虑拉普拉斯近似和精度较低，但更有效的BIC/MDL近似。我们还考虑了Draper（1993）和Cheeseman和Stutz（1995）提出的近似。这些近似与BIC/MDL一样有效，但其精度尚未进行任何深入研究。我们比较这些近似的准确性的假设下，拉普拉斯近似是最准确的。在实验中使用的合成数据产生的离散朴素贝叶斯模型具有一个隐藏的根结点，我们发现，CS措施是最准确的。
2015-05-17 cs.AI cs.LG stat.ML
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的非近视自适应高斯过程规划（GPP）框架，赋予了一般类的Lipschitz连续奖励函数，可以统一一些主动学习/传感和贝叶斯优化标准，并提供从业者一些灵活性，以指定他们所需的选择，定义新的任务/问题。特别是，它利用了一个原则性的贝叶斯顺序决策问题的框架，共同和自然优化的勘探开发权衡。一般来说，由于候选观测的不可数集合，所得到的诱导GPP策略不能精确地导出。因此，我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP（ε-GPP）的政策。为了实时规划，我们进一步提出了一个渐进最优的，分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性，它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
Informed Source Separation: A Bayesian Tutorial
NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）
源分离问题在物理科学中是普遍存在的;任何信号叠加的情况都需要源分离来估计原始信号。在本教程中，我将讨论贝叶斯方法的源分离问题。这种方法有一个特殊的优点，即它要求设计者明确地描述信号模型，以及问题描述中的任何其他信息或假设。这自然导致了知情源分离的想法，其中算法设计结合了有关特定问题的相关信息。这种方法有望使研究人员能够设计自己的高质量算法，专门针对手头的问题。
2013-11-13 cs.LG stat.ML
Natural Posterior Network: Deep Bayesian Uncertainty for Exponential Family Distributions
Munich Data Science Institute（慕尼黑数据科学研究所）；Technical University of Munich（慕尼黑工业大学）
不确定性意识对于开发可靠的机器学习模型至关重要。在这项工作中，我们提出了自然后验网络（NatPN）的快速和高质量的不确定性估计的目标分布属于指数族的任何任务。因此，NatPN适用于分类和一般回归设置。与许多以前的方法不同，NatPN在训练时不需要分布外（OOD）数据。相反，它利用Normalizing Flows在学习的低维和任务相关的潜在空间上拟合单一密度。对于任何输入样本，NatPN使用预测的可能性对目标分布执行贝叶斯更新。理论上，NatPN分配远离训练数据的高不确定性。从经验上讲，我们在校准和OOD检测方面的广泛实验表明，NatPN在分类、回归和计数预测任务方面具有极强的竞争力。
2022-03-16 cs.LG stat.ML
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
贝叶斯优化是一个著名的样本有效的方法，用于优化昂贵的黑盒函数。然而，当处理大的搜索空间时，该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的，因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中，贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此，任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中，我们表示的先验知识的函数最优通过一个先验分布。然后，先验分布被用来扭曲的搜索空间在这样一种方式，空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵，将此先验直接纳入函数模型（高斯过程），这使得该方法可以与任何采集函数一起工作，即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法：支持向量机（SVM）和随机森林，我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
Targeting functional parameters with semiparametric Bayesian inference
典型的贝叶斯推断需要通过似然参数化进行参数识别，这招致了批评，因为它比频率论框架灵活性差，并且容易出现错误。虽然在非参数模型空间下可以通过函数参数推断来避免误指定，但是不存在允许完全控制任何一般函数参数的边缘先验的灵活的贝叶斯半参数模型。我们提出了$θ$ -增强技术，它可以帮助我们将非参数模型操作成直接针对任何功能参数的半参数模型。该方法允许贝叶斯概率报表被定义为一个功能的经验分布的任何估计，而不需要一个似然函数，从而提供了一个路径贝叶斯分析的问题，如因果推断和审查，其中不存在公认的似然函数。
2022-11-25 stat.ME
On the Geometry of Bayesian Graphical Models with Hidden Variables
University of Warwick（华威大学）
在本文中，我们研究的几何形状的未知参数的可能性在一类简单的贝叶斯有向图的隐变量。这使我们能够在采用任何数值算法之前，获得对此类模型中固有的不可识别性的性质的某些见解，后验密度对先验密度敏感的方式以及这些后验密度可能采取的典型几何形式。这些见解中的许多都适用于具有系统性缺失数据的更复杂的贝叶斯网络。
2013-01-30 cs.LG stat.ML
Posterior Consistency for Bayesian Relevance Vector Machines
University of Florida（佛罗里达大学）
样本量远小于可用协变量数量的统计建模和推断问题具有挑战性。Chakraborty等人（2012）使用基于再生核希尔伯特空间（RKHS）的相关向量机对这种情况下的非线性回归进行了全面的分层贝叶斯分析。但他们没有提供任何与他们的程序相关的理论性质。本文重新审视了他们的问题，引入了一类新的全局-局部先验，并给出了后验一致性和后验收缩率的结果
2022-02-11 cs.LG stat.ML
Optimally-Weighted Herding is Bayesian Quadrature
羊群效应和核心羊群效应是选择概括概率分布的样本的确定性方法。一个相关的任务是选择样本估计积分使用贝叶斯求积。我们发现，在选择样本时，在内核羊群的标准最小化是等价的贝叶斯正交的后验方差。然后，我们表明，序贯贝叶斯正交可以被视为一个加权版本的内核放牧，实现性能优于任何其他加权放牧方法。我们证明经验的收敛速度快于O（1/N）。我们的研究结果也意味着贝叶斯正交估计的经验误差的上限。
2016-07-13 cs.LG stat.ML
Bayesian multi-tensor factorization
我们介绍贝叶斯多张量因式分解，这是第一个贝叶斯公式的多个矩阵和张量的联合因式分解模型。研究问题将联合矩阵-张量因式分解问题推广到任意深度的张量集合，包括矩阵，可以解释为从多个数据张量进行无监督多视图学习，并且可以推广到放松通常的三线性张量因式分解假设。结果是将张量集合分解为张量的任何子集共享的因子和单个张量的私有因子。我们证明了在结构毒理基因组学和功能神经成像中的多个张量因子分解任务中对现有基线的性能。
2016-10-12 stat.ML
A general measure of the impact of priors in Bayesian statistics via Stein's Method
我们提出了一个措施的影响，任何两个选择的先验分布量化的Wasserstein距离之间的各自产生的后验分布在任何固定的样本量。我们说明了这一措施的正常，二项和泊松模型。
2018-02-28 math.ST stat.TH
A closed-form approach to Bayesian inference in tree-structured graphical models
我们考虑在一个精确的贝叶斯框架中的无向图模型的结构的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。这个任务将是棘手的，没有任何限制所考虑的图，所以我们限制我们的探索混合生成树。我们考虑在贝叶斯框架中的无向图模型的结构的推断。为了避免收敛问题和高要求的蒙特卡罗采样，我们专注于精确的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。为了这个目的，我们限制了一组考虑图的混合物的生成树。我们调查的条件下，先验-对树结构和参数-精确的贝叶斯推断可以实现。在这些条件下，我们得到了一个快速的精确算法来计算后验概率的边缘属于{树模型}使用一个代数结果称为矩阵树定理。我们表明，我们所做的假设并不妨碍我们的方法在合成和流式细胞术数据上表现良好。
2017-05-01 stat.ML
Bayesian Optimization for Probabilistic Programs
University of Oxford（牛津大学）；Northeastern University（东北大学）
我们提出了第一个通用的框架边际最大后验概率估计的程序变量。通过使用一系列代码转换，任何概率程序的证据，因此任何图形模型，可以相对于其采样变量的任意子集进行优化。为了进行这种优化，我们开发了第一个贝叶斯优化包，直接利用其目标的源代码，从而在独立于问题的hyperprior，无界优化和隐式约束满足方面进行了创新;与现有的优秀软件包相比，提供了显着的性能改进。我们目前的应用程序，我们的方法的一些任务，包括工程设计和参数优化。
2017-07-13 cs.AI cs.PL stat.CO
A New Characterization of Probabilities in Bayesian Networks
University of Rochester（罗切斯特大学）
我们在贝叶斯网络中的概率的代数表达式称为准概率。这些是通过将贝叶斯网络转换为噪声AND-OR-NOT网络，并将导致节点的子网络视为支持或反对节点的参数来实现的。准概率在某种意义上是贝叶斯网络的"自然"代数：我们可以很容易地以紧凑的形式递归计算任何节点的边际准概率;我们可以通过乘以它们的边际（使用幂等积算子）来获得任何节点集合的联合准概率。准概率易于操作，以提高概率推理的效率。它们也可以表示为方波脉冲序列，联合和边缘分布可以通过脉冲序列的乘法和互补来计算。
2012-07-11 cs.AI
Logarithmic Time Parallel Bayesian Inference
University of Michigan AI Laboratory（密歇根大学人工智能实验室）
本文提出了一种贝叶斯网络精确概率推理的并行算法。对于具有n个变量的多叉树网络，在具有n个处理器的CREW PRAM（并发读、异写并行随机存取机）上，对于任何常数数量的证据变量，最坏情况下的时间复杂度为O（log n）。对于任意网络，时间复杂度对于n个处理器是O（r ^{3w}* log n），或者对于r ^{3w}* n个处理器是O（w * log n），其中r是任何变量的最大范围，w是在道德化和三角化网络之后的诱导宽度（最大团大小）。
2013-01-30 cs.AI
BAM! Bayesian Anything Model: a foundation model for generative computational imaging
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；Heriot-Watt University（赫瑞-瓦特大学）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
提出BAM，一种轻量级物理感知基础模型，通过条件流映射实现少步后验采样，仅36M参数，在多个线性逆问题基准上以3步超越专用模型和零样本方法，降低计算成本。
2026-10-01 cs.CV stat.ML
PAC-Bayesian Transportation Bound
IBM Research（IBM研究院）
经验上，已知PAC-Bayesian分析为实际机器学习算法产生严格的风险界限。然而，在其朴素的形式，它只能处理随机预测，而这样的预测很少使用和确定性预测往往在实践中表现良好。为了填补这一空白，我们开发了一个新的泛化误差界，PAC-Bayesian运输界，统一的PAC-Bayesian分析和链接方法的最优运输。它是第一个PAC-Bayesian界，根据它们的距离将任何两个预测变量的风险联系起来，并且能够评估面临连续损失函数的随机预测变量的去随机化成本。作为一个例子，我们给出了一个上界的谱归一化神经网络（NN）的去随机化成本，以评估有多少随机性有助于NN的推广。
2019-11-21 cs.LG stat.ML
Ontology Temporal Evolution for Multi-Entity Bayesian Networks under Exogenous and Endogenous Semantic Updating
这是一个挑战，任何知识库推理管理无处不在的不确定本体以及不确定的更新时间，同时以最小的计算成本达到可接受的服务水平。提出了一种面向开放交互系统的本体合并方法。一个解决方案，使用多实体贝叶斯网络与SWRL规则，和Java程序，提出了动态监测外生和内生的时间演化更新合并本体的概率框架上的语义Web。
2010-09-10 cs.AI cs.LO
The use of conflicts in searching Bayesian networks
University of British Columbia（不列颠哥伦比亚大学）
本文讨论了如何冲突（所使用的一致性为基础的诊断社区）可以适应用于基于搜索的算法计算先验和后验概率离散贝叶斯网络。这是一个“随时”算法，在任何阶段都可以估计概率并给出误差界。鉴于最流行的贝叶斯网络算法利用网络的结构来提高效率，我们利用概率分布来提高效率;这种算法最适合于极端概率的情况。本文提出了一种解决方案，在天真的算法中发现的效率低下，并显示如何基于一致性的诊断社区（即冲突）的工具，可以有效地使用，以提高效率。具有数万个节点的网络的实证结果。
2013-03-06 cs.AI
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Sequential edge detection using joint hierarchical Bayesian learning
Dartmouth College（达特茅斯学院）；Old Dominion University（欧道明大学）
本文介绍了一种新的稀疏贝叶斯学习（SBL）算法，联合恢复的时间序列的边缘地图从噪声和欠采样的傅立叶数据。新方法是投在贝叶斯框架，并使用一个先验，同时结合图像内的信息，以促进稀疏在每个单独的边缘图与图像间的信息，以促进任何不变的区域的相似性。通过将边缘以及相邻图像之间的相似性都视为随机变量，不需要单独形成变化区域。因此，我们既避免了额外的计算成本，以及任何信息损失所造成的预处理的图像。我们的数值例子表明，我们的新方法相比，更标准的SBL方法。
2023-02-28 cs.LG stat.AP
Double-Bayesian Learning
Lister Hill National Center for Biomedical Communications（利斯特希尔生物医学通信中心）；National Library of Medicine（美国国家医学图书馆）；National Institutes of Health（美国国立卫生研究院）
本文提出决策是包含两个贝叶斯决策的双重贝叶斯过程，揭示了决策的内在不确定性与可解释性，并用对数函数不动点和黄金比例刻画解，为神经网络训练提供了学习率与动量设置的新依据。
2024-10-16 cs.LG cs.NE
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究院）；University of Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已经成为高通量计算的流行方法，如计算机实验设计或昂贵模型的超参数调整，其中样本效率是强制性的。在这些应用程序中，分布式和可扩展的架构是必要的。然而，贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算，从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是，当与顺序设置中的其他采集功能相比时，已知汤普森采样的性能次优。在本文中，我们提出了一种新的方法，完全分布式贝叶斯优化，它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下，随机政策，如玻尔兹曼政策，有一些有趣的性质，也可以研究贝叶斯优化。此外，玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序，显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Bayesian neural networks with interpretable priors from Mercer kernels
School of Mechanical Engineering, Purdue University（机械工程学院，普渡大学）
本文提出了一种新的贝叶斯神经网络先验，称为Mercer先验，通过从协方差核的Mercer表示直接定义网络参数的先验，使BNN样本近似于指定的高斯过程，从而在保持可扩展性的同时提升模型的可解释性。
2026-03-06 cs.LG stat.ML
On the Convergence of the Shapley Value in Parametric Bayesian Learning Games
National University of Singapore（新加坡国立大学）
贡献度量是合作博弈论中的一个经典问题，Shapley值是最著名的解概念。本文建立了参数贝叶斯学习博弈中Shapley值的收敛性，其中博弈者使用他们的组合数据进行贝叶斯推理，后验先验KL散度被用作特征函数。我们表明，对于任何两个球员，在一定的规律性条件下，他们的Shapley值的差异收敛于概率的Shapley值的差异的限制游戏，其特征函数是成比例的联合Fisher信息的对数行列式。作为一个应用，我们提出了一个在线协作学习框架，是渐近Shapley公平的。我们的结果使这一点能够实现，而无需任何昂贵的计算后验先验KL分歧。只需要Fisher信息的一致估计量。我们的框架的有效性证明了使用真实世界的数据与实验。
2022-06-14 cs.GT cs.LG stat.ML
Approximate Learning in Complex Dynamic Bayesian Networks
University of Warwick（华威大学）
在本文中，我们扩展了Smith和Papamichail（1999）的工作，并提出了用于复杂场景中学习的快速近似贝叶斯算法，其中在任何时间范围内，解释性状态空间变量之间的关系可以通过随时间动态演变的贝叶斯网络来描述，并且所采取的观测不一定是高斯的。它使用最近的发展，结合更熟悉的高斯传播算法的连接树的近似贝叶斯预测方法。对于常见的采样分布，给出了从数据中学习状态参数的过程，并通过实际应用说明了该方法。动态近似的效率进行了探讨，通过使用海林格发散措施和理论界的功效，这样一个程序进行了讨论。
2013-01-23 cs.LG stat.ML
Learning discrete Bayesian networks in polynomial time and sample complexity
Purdue University（普渡大学）
本文研究了节点取值为离散值的贝叶斯网络的结构学习问题。这个问题是NP-困难的一般情况下，但我们表明，在一定条件下，我们可以恢复的真实结构的贝叶斯网络与足够数量的样本。我们开发了一个数学模型，它不假设任何特定的条件概率分布的节点。我们使用一个原始-对偶见证构造来证明，在节点对之间相互作用的某些技术条件下，我们可以通过执行组l_12-正则化多元回归来精确地恢复节点的父节点和子节点。这样，我们就恢复了真实的贝叶斯网络结构。如果一个节点的度是有界的，那么我们所提出的方法的样本复杂度相对于贝叶斯网络中的节点数呈几何增长。此外，我们的方法运行在多项式时间。
2018-10-05 cs.LG stat.ML
Bayesian Flow Networks in Continual Learning
IDEAS NCBR（IDEAS国家计算智能研究中心）；Jagiellonian University（雅盖隆大学）；Warsaw University of Technology（华沙理工大学）；Autonomous University of Barcelona（巴塞罗那自治大学）
本文探究贝叶斯流网络（BFN）在持续学习中的适用性，通过实验验证其在非平稳数据上的生成能力。
2023-10-18 cs.CV cs.LG stat.ML
Bayesian LSTMs in medicine
University of Cambridge（剑桥大学）
医疗领域将从深度学习的最新进展中受益匪浅。了解任何机器学习算法所做决策的不确定性对医疗从业者来说都是至关重要的。这项研究表明，使用贝叶斯LSTM分类的医疗时间序列的效用。四个医学时间序列数据集被用来显示贝叶斯LSTM提供的准确性改进超过标准LSTM。此外，我们展示了医疗时间序列的自信和不确定分类的精选例子。通过对深度学习的常见做法进行简单的修改，可以为医生和患者做出重大改进。
2017-06-05 cs.LG stat.AP stat.ML
Generative, Fully Bayesian, Gaussian, Openset Pattern Classifier
AGNITIO Research（AGNITIO研究机构）
本报告详细介绍了一个封闭形式的，完全贝叶斯，多类，开集，生成模式分类器使用多元高斯似然，共轭先验。生成模型具有共同的类内协方差，其与共轭先验中的类间协方差成比例。标量比例常数是唯一的插件参数。所有其他模型参数都以封闭形式进行积分。给出了模型证据的表达式，该表达式可用于对比例常数进行插件估计。模式识别是通过训练数据可用的类的预测可能性以及任何尚未看到的类的预测可能性来完成的。
2013-07-24 cs.LG stat.ML
Bayesian Receiver Operating Characteristic Metric for Linear Classifiers
Tampere University（坦佩雷大学）；A.I. Virtanen Institute for Molecular Sciences（A.I.维尔塔宁分子科学研究所）；University of Eastern Finland（东芬兰大学）
我们提出了一种新的分类器准确性度量：贝叶斯面积下的接收器工作特征曲线（CBAUC）。该方法估计ROC曲线下面积，并与最近提出的贝叶斯误差估计有关。该度量可以仅使用训练数据集来评估分类器的质量，而不需要计算上昂贵的交叉验证。我们推导出一个封闭形式的解决方案，建议的准确性度量的任何线性二进制分类的高斯假设下，并研究使用模拟和真实世界的数据的准确性估计。这些实验证实，封闭形式的CBAUC比传统的AUC估计更快，更准确。
2019-08-23 cs.LG stat.ML
MAP segmentation in Bayesian hidden Markov models: a case study
University of Tartu（塔尔图大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
考虑了贝叶斯环境下有限状态和有限发射字母表隐马尔可夫模型（HMM）的最大后验概率（MAP）状态序列的估计问题，其中发射矩阵和转移矩阵都具有Dirichlet先验.我们研究了由数千个蛋白质比对对组成的训练集。训练数据用于设置贝叶斯MAP分割的先验超参数。由于Viterbi算法不再适用，没有简单的过程来找到MAP路径，并考虑和比较几种迭代算法。本文的主要目标是测试贝叶斯设置对频率论，其中的参数估计使用的训练数据。
2020-04-17 cs.LG stat.CO stat.ML
Representing Bayesian Networks within Probabilistic Horn Abduction
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一个简单的框架Horn子句溯因，概率与假设。它示出了这种表示可以表示在贝叶斯信念网络中的任何概率知识。主要的贡献是在寻找证据推理的逻辑和概率概念之间的关系。这可以用作实现贝叶斯网络的新方法的基础，该方法允许对后验概率的值进行近似，并且还指出了贝叶斯网络可以扩展到命题语言之外的方式。
2013-03-20 cs.AI
Exact Bayesian Inference for Multivariate Spatial Data of Any Size with Application to Air Pollution Monitoring
针对大规模多元空间数据难以进行贝叶斯推断的问题，提出SM-EPR方法，结合数据子集与精确后验回归，无需MCMC即可实现任意样本规模的精确推断，并应用于空气污染监测。
2025-03-03 stat.ME
Reliable and Efficient Inference of Bayesian Networks from Sparse Data by Statistical Learning Theory
为了学习随机变量之间的（统计）依赖关系，如果任何任意的联合概率分布都可能发生，则需要在观察到的随机变量的数量上具有指数级大的样本大小。我们考虑稀疏数据强烈表明概率可以由简单贝叶斯网络描述的情况，即，一个小度Δ的图。那么这个简单的定律也将以高置信度解释进一步的数据。这是通过计算VC维的这些概率措施，对应于简单的图形集上的界限。这允许选择网络的结构风险最小化，并给出了可靠性界的估计联合措施的错误，而没有（与以前的文件相比）任何先验假设的一组可能的联合措施。对于常数Δ，搜索入度为Δ的最优贝叶斯网络的复杂性仅随随机变量个数的增加而多项式增加，而与给定图相关的最优联合测度可以通过凸优化来求出.
2003-09-10 cs.LG
Rao-Blackwellised Particle Filtering for Dynamic Bayesian Networks
Cambridge University（剑桥大学）；UC Berkeley（加州大学伯克利分校）
粒子滤波（PF）是动态贝叶斯网络（DBN）中基于采样的推理/学习算法。它们允许我们以原则性的方式对待任何类型的概率分布、非线性和非平稳性。它们出现在几个领域，如“凝聚”，“顺序蒙特卡罗”和“适者生存”。在本文中，我们将展示如何利用DBN的结构来提高粒子滤波的效率，使用一种称为Rao-Blackwellisation的技术。本质上，这使用卡尔曼滤波器、HMM滤波器、连接树算法或任何其他有限维最优滤波器对一些变量进行采样，并精确地边缘化其余变量。我们发现，Rao-Blackwellised粒子滤波器（RBPFs）导致更准确的估计比标准的PF。我们证明RBPF的两个问题，即非平稳的径向基函数网络和机器人定位和地图的建立在线回归。我们还讨论了其他潜在的应用领域，并为一些有限维最优滤波器提供了参考。
2013-01-16 cs.AI cs.LG stat.CO
Monotonicity in Bayesian Networks
Institute of Information and Computing Sciences, Utrecht University（乌得勒支大学信息与计算科学研究所）
对于许多现实生活中的贝叶斯网络，常识表明，为感兴趣的主要变量建立的输出随着可观察变量的值的增加而增加。我们定义了两个概念的单调性来捕捉这种类型的知识。我们说一个网络在分布上是保序的，如果给定特定观测值的输出变量的概率分布被给定高阶观测值的任何这样的分布随机支配;一个网络在众数上是保序的，如果给定更高观测值的概率分布具有更高的众数。我们表明，建立一个网络是否表现出任何这些性质的单调性是coNPPP-完全的一般情况下，并保持coNP-完全的多树。我们提出了一个近似算法，用于确定一个网络是否是单调分布，并说明其应用到现实生活中的肿瘤学网络。
2012-07-11 cs.AI
The Dependence of Routine Bayesian Model Selection Methods on Irrelevant Alternatives
贝叶斯方法--基于贝叶斯因子或BIC --现在被广泛用于模型选择。任何模型选择方法可能合理要求的一个属性是，如果模型${M}_{1}$优于模型${M}_{0}$，则当这两个模型被表示为一个模型类$\mathbb{M}$的成员时，当它们被嵌入到不同的类$\mathbb{M}'$中时，该偏好被保留。然而，我们在本文中说明，这些常见的贝叶斯程序的通常实施，这个属性不成立，甚至近似。因此，我们主张，要使用这些方法，首先需要存在一个“自然”嵌入类。我们认为，在任何情况下，如在我们运行的例子贝叶斯模型选择的二元系统发育树，没有这样的嵌入。
2012-08-17 math.ST stat.ME stat.TH
Transformers are Bayesian Networks
本文证明Transformer本质上是贝叶斯网络，通过五种方式展示了其与信念传播的联系，并验证了其在概率估计和推理中的正确性。
2026-03-17 cs.AI
Lower Bound Bayesian Networks - An Efficient Inference of Lower Bounds on Probability Distributions in Bayesian Networks
University of Tokyo（东京大学）；University of Passau（帕绍大学）
我们提出了一种新的方法，在传统的贝叶斯网络的条件概率分布的传播下界。我们的方法保证提供精确下界的外部近似。一个关键的优势是，我们可以使用贝叶斯网络的任何可用算法和工具来表示和推断下限。这种新的方法产生的结果是证明准确的树与二进制变量，和现有的近似在信用网络的所有其他网络结构的结果是有竞争力的。我们的方法不限于特定类型的网络结构。基本上，它也不限于一种特定的推理，但我们限制我们的分析，在这篇文章中的预测推理。其计算复杂性优于现有的其他方法。
2012-05-09 cs.AI
Bayesian subset selection and variable importance for interpretable prediction and classification
Rice University（莱斯大学）；Department of Statistics（统计系）
子集选择是可解释学习、科学发现和数据压缩的重要工具。然而，由于选择不稳定，缺乏正则化，以及选择后推理的困难，经典的子集选择通常被避免。我们从贝叶斯的角度来解决这些挑战。给定任何贝叶斯预测模型$\mathcal{M}$，我们提取一系列接近最优的变量子集进行线性预测或分类。这种策略不再强调单一“最佳”子集的作用，而是提出了更广泛的观点，即许多子集往往具有高度竞争力。可接受的子集族为模型解释提供了一种新的途径，并通过关键成员（如最小可接受子集）以及基于变量（共同）是否出现在所有、一些或没有可接受子集中的新（共同）变量重要性度量进行了简洁的总结。更广泛地说，我们应用贝叶斯决策分析来获得任何变量子集的最佳线性系数。这些系数通过$\mathcal{M}$继承正则化和预测不确定性量化。对于模拟和真实数据，所提出的方法表现出更好的预测，区间估计，变量选择比竞争贝叶斯和频率选择方法。这些工具应用于具有高度相关协变量的大型教育数据集。我们的分析为预测教育成果的环境，社会经济和人口因素的组合提供了独特的见解，并确定了200多个不同的变量子集，这些变量提供了接近最佳的样本外预测准确性。
2022-02-16 cs.LG stat.AP stat.CO
Bayesian Forecasting in Economics and Finance: A Modern Review
本综述系统回顾了贝叶斯统计范式在经济学与金融学概率预测中的应用，阐述了如何通过积分量化未知量不确定性，并介绍了现代贝叶斯计算方法及实施细节。
2023-07-29 econ.EM stat.AP stat.ME
Cutset Sampling for Bayesian Networks
本文提出了一种新的抽样方法，贝叶斯网络的样本只有一个子集的变量，并适用于精确推理的休息。割集抽样是Rao-Blackwellisation原理在贝叶斯网络抽样中的网络结构开发应用。它通过利用基于内存的推理算法来提高收敛性。它也可以被看作是一个随时近似的精确割集条件算法开发的珍珠。割集抽样可以有效地实现时，采样变量构成的贝叶斯网络的环割集，更一般地说，当网络图的诱导宽度的条件下观察到的采样变量是有界的常数w。我们实证证明了该计划的好处在一系列的基准。
2011-10-12 cs.AI
Local Differential Privacy for Bayesian Optimization
Department of ECE（ECE系）；The Ohio State University（俄亥俄州立大学）；Alibaba, USA（阿里巴巴（美国））
针对当前数据密集型在线学习系统中隐私问题日益受到关注的现状，考虑了非参数高斯过程中具有局部差分隐私（LDP）保证的黑箱优化问题.具体来说，来自每个用户的奖励被进一步损坏以保护隐私，并且学习者只能访问损坏的奖励以最小化遗憾。我们首先推导出任何LDP机制和任何学习算法的遗憾下界。然后，基于GP-UCB框架和Laplace DP机制，提出了三种近似最优算法。在这个过程中，我们还提出了一个新的贝叶斯优化（BO）方法（称为MoMA-GP-UCB）的均值技术和核近似的基础上，它补充了以前的BO算法的重尾收益与降低的复杂性。此外，不同算法在合成和真实世界数据集上的实证比较突出了MoMA-GP-UCB在私人和非私人场景中的优异性能。
2020-10-13 cs.CR cs.LG
Bayesian Regression of Piecewise Constant Functions
我们推导出一个精确和有效的贝叶斯回归算法的分段常数函数的未知段数，边界位置和水平。它适用于任何噪声和段级先验，例如可以处理离群值的Cauchy。我们得到简单，但很好的估计段内方差。我们还提出了贝叶斯回归曲线作为平滑数据而不模糊边界的更好方法。贝叶斯方法还允许直接确定证据、断裂概率和误差估计，这对于模型选择以及显著性和稳健性研究非常有用。我们讨论了合成和现实世界的例子的性能。将讨论许多可能的扩展。
2006-06-13 cs.LG math.PR math.ST
Discrete Bayesian Networks: The Exact Posterior Marginal Distributions
California State University, Fullerton（加州州立大学富勒顿分校）
在贝叶斯网络中，我们希望评估查询变量的边际概率，这可能取决于某些证据变量的观测值。在这里，我们首先提出了我们的“边界算法”，它将BN转换为有向链。对于多叉树，我们详细介绍了Peot & Shachter（1991）的“修正多叉树算法”，并在边界算法框架内进行了一些修改。最后，我们提出了我们的“无父多叉树方法”，它与边界算法相结合，将任何贝叶斯网络转换为多叉树，使我们的推理的复杂性与网络的大小无关，并与其证据和查询变量的数量呈线性关系。本文中的所有量都具有概率解释。
2014-11-23 cs.AI
Finite-time optimality of Bayesian predictors
序贯概率预测的问题被认为是在最一般的设置：一个模型集C是给定的，它需要预测，以及尽可能如果任何措施（环境）在C中被选择来产生的数据。C类模型没有任何假设，特别是没有独立性或混合假设; C可能无法测量;可能没有预测器的损失是次线性的，等等。它表明，任何可能的预测器的累积损失可以匹配的贝叶斯预测器，其先验是离散的，并集中在C上，直到一个加法项的顺序$\log n$，其中，$n$是时间步长。该界对每个$n$和C中的每个测度成立。这是第一个非渐近的结果。此外，建立了一个非匹配的下界：它与$n$一起走向无穷大，但可能会任意慢。
2019-10-24 cs.IT cs.LG math.IT
The Relation Between Acausality and Interference in Quantum-Like Bayesian Networks
Instituto Superior Técnico（高等技术学院）；INESC-ID（葡萄牙信息与通信技术研究院）
我们分析了一个类似量子的贝叶斯网络，它将事件之间的因果关系和语义相似性放在一起。这些语义上的相似性构成因果联系根据同步性原则，并提供了新的关系，量子类概率图形模型。因此，信念（或任何其他事件）可以在向量空间中表示，其中量子参数由这些向量之间的相似性决定。具有语义意义的事件不需要因果解释。
2015-08-26 cs.AI
Kullback-Leibler Divergence for Bayesian Nonparametric Model Checking
贝叶斯非参数统计是一个相当大的研究兴趣的领域。虽然最近有一个广泛的浓度在发展贝叶斯非参数程序的模型检验，使用狄利克雷过程，在其最简单的形式，随着Kullback-Leibler分歧仍然是一个悬而未决的问题。这主要归因于Dirichlet过程的离散性以及任何离散分布与任何连续分布之间的Kullback-Leibler散度是无穷大。本文提出的方法，这是基于将狄利克雷过程，Kullback-Leibler分歧和相对置信比，被认为是第一个具体的解决方案，这个问题。应用该方法是简单的，并且不需要获得相对置信比的封闭形式。蒙特卡洛研究和实际数据的例子表明，开发的方法具有良好的性能。
2019-03-14 math.ST stat.TH
Optimally-Weighted Herding is Bayesian Quadrature
Cambridge University（剑桥大学）
本文证明核Herding的样本选择准则等价于贝叶斯求积的后验方差，并提出序贯贝叶斯求积作为加权Herding的改进版本，实现优于O(1/N)的收敛速度。
2016-07-15 cs.NA math.NA stat.ML
Refinement and Coarsening of Bayesian Networks
Advanced Decision Systems（高级决策系统公司）
在几乎所有的态势评估问题中，随着评估的进行，动态地收缩和扩展所考虑的状态是有用的。收缩最常用于将相似事件或低概率事件组合在一起以减少计算。扩展最常用于区分具有显著概率的兴趣，以提高评估质量。虽然其他不确定性演算，特别是Dempster-Shafer [Shafer，1976]，已经解决了这些操作，但还没有任何方法来细化和粗化贝叶斯网络技术的状态空间。提出了贝叶斯网络状态空间的细化和粗化两种操作。我们还讨论了它们对知识获取的实际意义。
2013-03-27 cs.AI
