Symbolic Probabilistic Inference with Continuous Variables
Advanced Decision Systems（高级决策系统公司）
对符号概率推理（SPI）的研究[2，3]提供了一种解决贝叶斯网络中一般查询的算法。SPI将依赖性定向向后搜索的概念应用于概率推理，并且相对于查询和观察都是增量的。与传统的贝叶斯网络推理算法不同，SPI算法是目标导向的，只执行那些需要响应查询的计算。迄今为止关于SPI的研究适用于具有离散值变量的贝叶斯网络，而不涉及具有连续值的变量。在本文中，我们扩展了SPI算法来处理贝叶斯网络的连续变量之间的关系被限制为？线性高斯？我们将这种SPI算法的变体称为SPI Continuous（SPIC）。SPIC修改了三种基本的SPI操作：乘法、求和和替换。然而，SPIC保留了SPI算法的框架，即建立搜索树和递归查询机制，因此保留了SPI的目标导向和增量特性。
2013-03-20 cs.AI
Bayesian Information Extraction Network
动态贝叶斯网络（DBN）提供了一种将语言的各个方面集成到一个模型中的优雅方式。许多现有的算法开发的学习和推理DBNs适用于概率语言建模。为了展示DBN在自然语言处理中的潜力，我们在一个信息抽取任务中使用了DBN。我们展示了如何组装丰富的新兴语言工具，浅层解析，句法和语义标记，形态分解，命名实体识别等，以逐步建立一个强大的信息抽取系统。我们的方法优于以前发表的结果在一个既定的基准域。
2003-06-10 cs.AI cs.CL cs.IR
Efficient Enumeration of Instantiations in Bayesian Networks
Microsoft Corporation（微软公司）；Recom Technologies（Recom技术公司）；NASA Ames Research Center（NASA艾姆斯研究中心）
在过去的几年中，贝叶斯网络已经被应用于各种各样的问题。应用贝叶斯网络的一个中心问题是找到一个或多个最可能的网络实例。在本文中，我们开发了一个有效的算法，递增枚举的实例贝叶斯网络的概率降序。这种枚举算法可应用于从医学专家系统到基于模型的诊断的各种应用中。从根本上说，我们的算法只是对网络的所有实例化的排序列表执行惰性枚举。这种见解导致了一个非常简洁的算法语句，既容易理解和实现。我们表明，对于单连接的网络，我们的算法生成的下一个实例化的时间多项式的网络的大小。该算法扩展到任意贝叶斯网络使用标准的条件技术。我们经验评估的枚举算法，并证明其实用性。
2013-02-13 cs.AI
Belief Maintenance in Bayesian Networks
McGill University（麦吉尔大学）；Universita di Pavia（帕维亚大学）
贝叶斯信度网络（Bayesian Belief Networks，BBN）是一种用于不确定性推理的强大形式，但也存在一些严重的局限性：在任何推理过程开始之前需要大量的信息，矛盾处理能力有限，对结论的解释能力仍存在争议。存在一类推理系统，称为真值维护系统（Truth Maintenance Systems，TMS），它们能够处理部分指定的知识，为它们的结论提供有根据的解释，并检测和处理矛盾。包含不确定性度量的TMS被称为信念维护系统（BMS）。本文介绍了如何BMS基于概率逻辑可以应用到BBN，从而引入了一类新的BBN，称为无知的信念网络，能够逐步处理部分指定的条件依赖，提供解释，并检测和处理矛盾。
2013-02-27 cs.AI
On the Construction of the Inclusion Boundary Neighbourhood for Markov Equivalence Classes of Bayesian Network Structures
University of Liege（列日大学）
学习贝叶斯网络结构的马尔可夫等价类的问题可以通过在这些类的空间中搜索评分度量的最大值来解决。本文讨论了一种这样的搜索空间的定义和分析。我们使用一个理论上有动机的邻居，包含边界，并表示等价类的基本图。我们证明了这个搜索空间是连通的，并且邻居的得分可以递增地进行评估。我们设计了一个实用的方法来建立这个社区的一个基本的图，是纯粹的图形，并不明确地指的是潜在的独立性。我们发现，它的大小可以是棘手的，这取决于等价类的基本图的复杂性。重点讨论了贪婪爬山搜索对该空间的潜在利用
2012-12-12 cs.AI
MoTiC: Momentum Tightness and Contrast for Few-Shot Class-Incremental Learning
School of Computer Science and Information Security（计算机科学与信息安全学院）；School of Artificial Intelligence（人工智能学院）；School of Internet of Things Engineering（物联网工程学院）
MoTiC通过动量紧致性与对比方法，减少少样本类增量学习中的估计偏差，提升增量学习的鲁棒性。
2025-09-24 cs.AI cs.CV
Automated Construction of Sparse Bayesian Networks from Unstructured Probabilistic Models and Domain Information
Rockwell Science Center（罗克韦尔科学中心）；University of California（加利福尼亚大学）
给出了一个非结构化的概率模型和因果领域的专家信息的稀疏贝叶斯网络的自动构建算法已经开发和实现。我们的目标是获得一个网络，显式地揭示尽可能多的信息，有关条件独立性。网络是逐步建立的，每次添加一个节点。专家的信息和贪婪的启发式，试图保持在每一步添加到最小的弧的数量被用来指导搜索下一个节点添加。概率模型是一个谓词，可以回答有关域中的独立性查询。在实践中，该模型可以以各种方式实现。例如，模型可以是对经验数据进行的统计独立性测试，或者是对关于域的一组独立性陈述进行的演绎证明。
2013-03-27 cs.AI
Flexible Policy Construction by Information Refinement
University of British Columbia（不列颠哥伦比亚大学）
我们报告的工作，以灵活的算法解决决策问题的影响图。给出了一种为影响图中的每个决策节点构造树结构的算法。每棵树代表一个决策函数，并且是递增构造的。对树的改进收敛到最优决策函数（忽略计算成本），并且渐近行为仅是比动态规划技术差的常数因子，计算贝叶斯网络查询的数量。实证结果表明，预期效用如何随着树的大小和贝叶斯网计算的数量而增加。
2013-02-13 cs.AI
An Experimental Comparison of Hybrid Algorithms for Bayesian Network Structure Learning
Université de Lyon（里昂大学）；CNRS（法国国家科学研究中心）；Université Lyon 1（里昂第一大学）
提出了一种新的贝叶斯网络结构学习的混合算法，称为混合HPC（H2 PC）。它首先重建贝叶斯网络的骨架，然后执行贝叶斯评分贪婪爬山搜索来定位边缘。它基于一个名为HPC的子例程，该子例程结合了增量和基于约束的分治方法的思想，以学习目标变量的父变量和子变量。我们对H2 PC与Max-Min Hill-Climbing（MMHC）进行了实验比较，MMHC是目前最强大的贝叶斯网络结构学习算法，在几个具有不同数据大小的基准测试中。我们的大量实验表明，H2 PC在对新数据的拟合优度和网络结构本身的质量方面都优于MMHC，它更接近数据的真实依赖结构。H2 PC的源代码（R）以及用于实证测试的所有数据集都是公开的。
2015-08-24 cs.AI cs.LG stat.ML
Stacking Factorizing Partitioned Expressions in Hybrid Bayesian Network Models
Capital University of Economics and Business（首都经济贸易大学）；Queen Mary, University of London（伦敦玛丽女王大学）
针对混合贝叶斯网络中分区表达式CPD规模随父节点指数增长的问题，本文提出堆叠分解（SF）算法，通过中间节点逐步重建密度以限制连续父节点数量，并与二元分解（BF）结合显著减小CPD规模、降低树宽并提升推理效率。
2024-02-23 cs.AI
Bayesian Treatment of Incomplete Discrete Data applied to Mutual Information and Feature Selection
给定一对随机变量的联合机会，可以计算感兴趣的量，如互信息。未知机会的贝叶斯处理涉及从二阶先验分布和数据似然计算机会的后验分布。不完全数据的一种常见处理方法是假设可重复性并通过期望最大化（EM）算法确定机会。上述两种不同的方法是公认的，但通常是分开的。本文在Dirichlet先验的情况下将这两种方法结合起来，导出了机会和互信息的均值、众数和（协）方差的有效近似。此外，我们证明了单峰的后验分布，从而EM收敛到全局最大值的重要性质，在选定的框架。这些结果适用于增量学习和朴素贝叶斯分类的特征选择问题。基于互信息分布的快速滤波器被证明优于基于经验互信息的传统滤波器。
2003-06-24 cs.AI cs.LG math.PR
Using Qualitative Relationships for Bounding Probability Distributions
University of Michigan（密歇根大学）
我们利用定性的概率关系的变量计算边界的条件概率分布的兴趣在贝叶斯网络。使用定性关系的符号，我们可以实现保证将兴趣分布约束在期望方向上的抽象操作。通过评估增量改进的近似网络，我们的算法得到单调收紧的界限，收敛到精确的分布。对于超模效用函数，紧缩界也单调地减少了可容许决策方案的集合。
2013-01-30 cs.AI
Symbolic Probabilistic Inference with Evidence Potential
Advanced Decision Systems（高级决策系统公司）
最近对符号概率推理（SPI）算法的研究[2]集中在解决贝叶斯网络中一般查询的重要性上。SPI将依赖性导向的向后搜索的概念应用于概率推理，并且相对于查询和观察都是增量的。为了响应这项研究，我们扩展了具有相同特征的证据潜力算法[3]。我们称之为扩展符号证据潜在推理（SEPI）。像SPI这样的SEPI可以处理通用查询，并且在查询和观察方面是增量的。在SPI中，操作是在由原始网络的节点构造的搜索树上进行的，而在SEPI中，由证据势算法[3]获得的团-树结构是递归查询处理的基本框架。在本文中，我们描述了系统的查询和缓存过程的SEPI。SEPI首先从贝叶斯网络中找到一个团树-证据潜力算法的标准程序。利用团树，各种概率分布被计算并存储在每个团中。这就是预处理？步骤SEPI。完成此步骤后，就可以计算查询了。为了处理查询，使用类似于SPI算法的递归过程。查询被定向到根集团，并分解成集团的子树的查询，直到特定的查询可以在它所指向的集团处被回答。算法简单，计算量小.本文将介绍SEPI算法以及几个例子。
2013-03-20 cs.AI
Bayesian Deep Learning for Graphs
University of Pisa（比萨大学）
结构化数据的自适应处理是机器学习中的一个长期研究课题，其研究如何自动学习从结构化输入到各种性质的输出的映射。近年来，人们对图形的自适应处理越来越感兴趣，这导致了不同的基于神经网络的方法的发展。在这篇论文中，我们采取了不同的路线，开发了一个用于图学习的贝叶斯深度学习框架。本文首先回顾了该领域中大多数方法的原理，然后研究了图分类的可重复性问题。然后，我们继续通过以增量方式构建我们的深度架构，将图的深度学习的基本思想与贝叶斯世界联系起来。这个框架允许我们考虑具有离散和连续边缘特征的图，产生足够丰富的无监督嵌入，以达到几个分类任务的最新水平。我们的方法也服从贝叶斯非参数扩展，自动化几乎所有模型的超参数的选择。两个真实世界的应用程序展示了深度学习对图形的有效性。第一个问题是用监督神经模型预测分子模拟的信息理论量。之后，我们利用我们的贝叶斯模型来解决恶意软件分类任务，同时对过程内代码混淆技术具有鲁棒性。最后，我们试图将神经和贝叶斯世界中最好的融合在一起。由此产生的混合模型是能够预测多峰分布的输入图的条件下，随之而来的能力，建模的随机性和不确定性比大多数作品。总的来说，我们的目标是为图的深度学习的研究领域提供贝叶斯视角。
2022-02-24 cs.AI cs.LG stat.ML
Decoding the mechanisms of the Hattrick football manager game using Bayesian network structure learning
Bayesian AI research lab（贝叶斯人工智能研究实验室）；Machine Intelligence and Decision Systems (MInDS) research group（机器智能与决策系统（MInDS）研究组）；School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）；Queen Mary University of London（伦敦女王大学）
本文首次利用结构学习技术与贝叶斯网络解码Hattrick游戏机制，结合专家知识与数据构建模拟并解释游戏引擎的模型，公开了性能匹配社区顶级模型的贝叶斯网络，并展示了分析在决策中的应用。
2026-04-27 cs.AI cs.LG
The Extended Parameter Filter
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
诸如动态贝叶斯网络之类的时间模型的参数可以在贝叶斯上下文中被建模为在每个时间步长处影响转移概率的静态或非时间变量。粒子滤波器在包含此类变量的模型中失效，而使用参数变量的吉布斯抽样的方法可能会导致每样本成本随观察序列的长度线性增长。斯托维克设计了一种增量计算精确充分统计量的方法，在某些情况下，将每个样本的成本降低到一个常数。在本文中，我们证明了Storvik的过滤器和卡尔曼滤波器在参数空间之间的连接，并建立更一般的条件下，Storvik的过滤器的作品。借鉴类比扩展卡尔曼滤波器，我们开发和分析，理论和实验，泰勒近似的参数后，允许Storvik的方法被应用到更广泛的一类模型。我们的合成的例子和实际应用的实验表明，现有的方法的改进。
2013-05-08 cs.AI stat.ML
Approximate inference of marginals using the IBIA framework
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出基于IBIA范式的边缘概率近似推断算法，将概率图模型转换为有界团大小的链式链接团树森林，以非迭代信念更新实现推断，在UAI基准上以更短运行时间取得优于或可比于变分与采样方法的精度。
2023-10-28 cs.AI
Epistemic Neural Networks
DeepMind（深度心智）
为高效估计不确定性，提出可补充传统神经网络的 epinet 架构，以极低计算成本超越大型集成模型，并引入认知神经网络（ENN）作为联合预测模型的新接口。
2023-05-17 cs.AI cs.LG stat.ML
Recursion, Probability, Convolution and Classification for Computations
CEA（法国原子能与替代能源委员会）；Nano-Inov（纳米创新实验室）
这项工作的主要动机是实用的，提供计算和理论上可扩展的方法来构建大型计算类。它开始于尝试优化R代码，用于机器学习/人工智能算法，用于巨大的数据集，由于其大小，应该以增量（在线）方式处理。我们的目标是大类的关系（基于属性），数学（基于索引）或图形计算。我们希望使用AI（人工智能）/ML（机器学习）中出现的强大计算表示，如BN（贝叶斯网络）和CNN（卷积神经网络）。对于我们所处理的计算类别，以及我们的HPC（高性能计算）需求，需要扩展将计算转换为这种表示的当前解决方案。我们的研究结果表明，我们所针对的计算类，可以是树结构的，和一个概率分布（定义一个DBN，即动态贝叶斯网络）与之相关联。更重要的是，这个DBN可以被看作是一个递归的CNN（卷积神经网络）。在该树状结构内，可以执行具有（通过可参数化的）大小界限的类中的分类。这些结果是非常强大的核心，但高度实用的算法重组和并行计算。深入介绍和揭示我们方法的全部通用性所需的数学背景）是随后论文的主题。在本文中，我们工作在一个有限的（但重要的）框架，可以理解与线性代数和图论的基础知识。重点是在适用性，本文的大部分讨论的有用性，我们的方法来解决硬编译问题的自动并行。
2019-07-22 cs.AI cs.PL
Utility-Based Control for Computer Vision
Advanced Decision Systems（高级决策系统公司）；Stanford University（斯坦福大学）
针对贝叶斯网络实现计算机视觉中的计算效率问题，提出通过最大化效用而非概率来控制视觉任务，以优化传感器信息收集和数据分析。
2013-03-27 cs.AI cs.CV cs.SY
