Most Relevant Explanation in Bayesian Networks
Mississippi State University（密西西比州立大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；HRL Laboratories LLC（HRL实验室）
贝叶斯网络中的一个主要推理任务是解释为什么使用一组目标变量可以观察到某些变量处于特定状态。解决这个问题的现有方法通常会产生过于简单（未指定）或过于复杂（过度指定）的解释。在本文中，我们介绍了一种方法，称为最相关的解释（MRE），找到一个部分实例化的目标变量，最大化广义贝叶斯因子（GBF）的最佳解释为给定的证据。我们的研究表明，GBF有几个理论属性，使MRE自动识别最相关的目标变量，形成其解释。特别是，条件贝叶斯因子（CBF），定义为GBF的一个新的解释条件下现有的解释，提供了一个软措施的相关程度的变量在新的解释解释现有的解释的证据。因此，MRE能够自动从其解释中删除不太相关的变量。我们还表明，CBF是能够很好地捕捉到的解释了现象，往往是在贝叶斯网络。此外，我们定义了两个候选解决方案之间的优势关系，并使用关系推广MRE找到一组顶级的解释，这是多样性和代表性。几个基准诊断贝叶斯网络的案例研究表明，MRE往往能够找到解释性的假设，不仅准确，而且简洁。
2014-01-16 cs.AI
Error Estimation in Approximate Bayesian Belief Network Inference
University of Cantabria（坎塔布里亚大学）；Utrecht University（乌得勒支大学）
我们可以在贝叶斯信念网络中进行推理，通过枚举具有高概率的实例，从而近似边缘。在本文中，我们提出了一种方法，用于确定必须考虑的实例化的分数，使得在边缘的绝对误差不超过一个预定义的值。该方法是基于极值理论。从本质上讲，所提出的方法使用反向广义帕累托分布建模低于给定阈值的实例化概率。基于该分布，如果忽略概率小于u的实例，则可以估计最大绝对误差。
2013-02-20 cs.AI
MAP Complexity Results and Approximation Methods
University of California（加利福尼亚大学）
MAP是在贝叶斯网络中找到一组n变量的最可能实例的问题，给出一些证据。MAP似乎是一个显着困难的问题比相关的问题，计算证据的概率Pr，或MPE的MAP的一个特殊情况。由于MAP的复杂性，以及缺乏可行的算法来近似它，MAP计算通常被从业者避免。本文研究了MAP的复杂性。我们证明了MAP对于NP是完备的。我们还提供了负面的复杂性结果消除为基础的算法。事实证明，即使MPE和Pr很容易，MAP仍然很难。我们发现，MAP是NP完全的网络时，被限制为多树，即使这样也不能有效地近似。因为没有近似算法保证的结果，我们调查最好的努力近似。我们介绍了一个通用的MAP近似框架。作为它的一个实例，我们实现了局部搜索加上置信传播BP近似MAP。我们展示了如何从置信传播中提取近似的证据撤回信息，这使我们能够进行有效的局部搜索。这允许MAP近似，即使在过于复杂的网络上，甚至可以精确地解决计算Pr或MPE的简单问题。实验结果表明，使用BP和局部搜索在许多情况下提供了准确的MAP估计。
2012-12-12 cs.AI
Uncertain Bayesian Networks: Learning from Incomplete Data
Univ. of Michigan（密歇根大学）；US Army DEVCOM ARL（美国陆军作战能力发展司令部陆军研究实验室）；Univ. of Brescia（布雷西亚大学）
在历史数据有限的情况下，贝叶斯网络节点的条件概率是不确定的，可以通过经验估计得到。二阶估计方法为估计概率和量化这些估计中的不确定性提供了一个框架。我们将这些情况称为不确定或二阶贝叶斯网络。当这些数据完整时，即，对于每个实例化观察所有变量值，已知条件概率是狄利克雷分布的。本文改进了当前处理不确定贝叶斯网络的最新方法，使它们能够学习其参数的分布，即，条件概率，数据不完整。我们广泛地评估各种方法来学习后验的参数，通过所需的和经验得出的各种查询的置信区间的强度。
2022-08-08 cs.AI cs.LG stat.ML
Planning with Noisy Probabilistic Relational Rules
有噪声的概率关系规则是一个有前途的世界模型表示有几个原因。它们是紧凑的，并且在世界实例上通用。它们通常是可解释的，并且可以从复杂世界中的行动经验中有效地学习。我们调查推理与接地关系域中的这些规则。我们的算法利用规则的紧凑性，有效和灵活的决策理论规划。作为第一种方法，我们将这些规则与基于前瞻树的上置信界应用于树（UCT）算法相结合。我们的第二种方法将这些规则转换成一个结构化的动态贝叶斯网络表示，并使用近似推理和世界状态的信念来预测动作序列的影响。我们评估我们的方法的有效性规划在一个模拟的复杂的3D机器人操作场景与关节式机械手和现实的物理和概率规划比赛的领域。实证结果表明，我们的方法可以解决问题，现有的方法失败。
2014-01-16 cs.AI
Learning the structure of Bayesian Networks: A quantitative assessment of the effect of different algorithmic schemes
Universitá degli Studi di Milano-Bicocca（米兰比可卡大学）；NOVA Information Management School (NOVA IMS), Universidade Nova de Lisboa（里斯本大学学院NOVA信息管理学院）；INESC Coimbra（科英布拉系统与计算机工程研究所）；University of Coimbra（科英布拉大学）；Stanford University（斯坦福大学）
采用贝叶斯网络（BN）时最具挑战性的任务之一是从数据中学习其结构。这个任务是复杂的巨大的搜索空间的可能的解决方案，并通过这个问题是NP难的事实。因此，完全枚举所有可能的解决方案并不总是可行的，往往需要近似。然而，据我们所知，定量分析的性能和特点的不同化学品来解决这个问题从来没有做过。出于这个原因，在这项工作中，我们提供了一个详细的比较，许多不同的国家的最先进的方法，结构学习的模拟数据，同时考虑BN与离散和连续变量，并与不同的噪声率的数据。特别是，我们调查的性能不同的广泛的分数和算法的推理和统计陷阱内提出的方法。
2018-08-03 cs.AI cs.LG stat.ML
Inference in Hybrid Networks: Theoretical Limits and Practical Algorithms
Stanford University（斯坦福大学）；Duke University（杜克大学）
混合贝叶斯网络的一个重要子类是那些表示条件线性高斯（CLG）分布的网络--对于离散变量的每个实例，具有多变量高斯分量的分布。在本文中，我们将探讨CLG中的推理问题。我们发现，CLG中的推理可能比贝叶斯网中的推理要困难得多。特别是，我们证明了，即使CLG被限制到一个非常简单的结构，其中每个连续的节点有最多一个离散的祖先，推理任务是NP-hard的CLG的精确推理算法的计算成本往往令人望而却步，我们探索了几个近似推理算法。这些算法试图找到一个小的高斯子集，这是一个很好的近似完整的混合分布。我们考虑两个蒙特卡罗方法和一种新的方法，枚举混合物成分的先验概率的顺序。我们比较这些方法在各种问题上，并表明我们的新算法是非常有前途的大型，混合诊断问题。
2013-01-10 cs.AI
Solving MAP Exactly using Systematic Search
University of California（加利福尼亚大学）
MAP是在给定一些证据的情况下，在贝叶斯网络中找到一组变量的最可能实例的问题。与计算后验概率（MPE）（MAP的一种特殊情况）不同，MAP的结构解的时间和空间复杂度不仅在网络树宽中呈指数级，而且在一个更大的参数（称为“约束”树宽）中也呈指数级。在实践中，这意味着计算MAP可能比计算后验概率或MPE贵几个数量级。本文提出了一个新的，简单的上限的概率MAP解决方案，它允许之间的折衷的边界质量和所需的时间来计算它。该界被证明是一般更严格的比那些可比的复杂性的其他方法。我们使用这个建议的上限开发一个分支定界搜索算法求解MAP。实验结果表明，该搜索算法能够解决许多问题，是远远超出了任何基于结构的方法为MAP。例如，我们表明，该算法可以计算MAP的一些网络的约束树宽度大于40准确和有效的。
2012-10-19 cs.AI
DPO: Dynamic-Programming Optimization on Hybrid Constraints
Rice University（莱斯大学）
在贝叶斯推理中，最可能解释（MPE）问题要求在给定证据的情况下具有最高概率的变量实例化。由于贝叶斯网络可以被编码为一个文字加权CNF公式$φ$，我们研究布尔MPE，一个更一般的问题，要求一个模型$τ$的$φ$具有最高的权重，其中的权重$τ$是由$τ$满足的文字的权重的乘积。众所周知，布尔MPE可以通过简化为（加权部分）MaxSAT来求解。最近的工作提出了DPMC，一个利用图分解技术来构建项目连接树的动态规划模型计数器。项目连接树是一个执行计划，它指定了如何连接子句和项目输出变量。我们建立在DPMC和介绍DPO，一个动态规划优化器，可以精确地解决布尔MPE。通过使用代数决策图（ADD）来表示伪布尔（PB）函数，DPO能够处理析取子句以及XOR子句。（基数约束和PB约束也可以用ADD来压缩表示，因此可以进一步扩展DPO对混合输入的支持。为了测试DPO的竞争力，我们生成随机XOR-CNF公式。在这些混合基准测试中，DPO的性能明显优于MaxHS、Uplink MaxSat和GaussMaxHS，这些都是MaxSAT最先进的精确求解器。
2022-05-17 cs.AI cs.DS cs.LO
An Evaluation of an Algorithm for Inductive Learning of Bayesian Belief Networks Usin
University of Pittsburgh（匹兹堡大学）
贝叶斯信念网络学习（Bayesian Learning of Belief Networks，BLN）是一种使用搜索和贝叶斯评分技术从数据中自动构建信念网络的方法。K2是实现贪婪搜索策略的方法的特定实例。为了评估K2的准确性，我们随机生成了一些BN，并为每个BN模拟了数据集。然后使用K2从模拟数据中诱导生成BN。我们检查的程序的性能，以及影响它的因素。我们还提出了一个简单的BN模型，从我们的结果，它预测的精度K2，当给定的数据集的各种特性。
2013-02-27 cs.AI
Probabilistic Inference Using Generators - The Statues Algorithm
我们在这里提出了一个新的概率推理算法，给出了精确的结果，在域的离散概率分布。该算法被称为Statues算法，用于计算定义为直接非循环图的概率模型的边际概率分布。这些模型是由定义良好的原语，允许表达，特别是，联合概率分布，贝叶斯网络，离散马尔可夫链，条件和概率算术。Statues算法依赖于基于生成器构造的变量绑定机制，这是一种特殊形式的协程;与枚举算法相关，这种新算法在效率方面带来了重要的改进，这使得它在其他精确边缘化算法方面具有价值。在介绍了Statues算法的定义、原语和组合规则之后，详细介绍了Statues算法。然后，我们简要地讨论了这个算法的兴趣相比，其他人，我们提出了可能的扩展。最后，我们介绍了Lea和MicroLea，这两个Python库实现了Statues算法，以及几个用例。在附录中给出了算法正确性的证明。
2018-08-02 cs.AI cs.MS
Sample-and-Accumulate Algorithms for Belief Updating in Bayes Networks
贝叶斯网中的信念更新是一个众所周知的计算困难的问题，最近已经被几种确定性算法和各种随机近似算法所近似。确定性算法通常提供概率界，但具有指数运行时间。一些随机化方案具有多项式运行时间，但仅提供概率估计。我们提出了随机算法，枚举高概率的部分实例，从而在概率界。这些算法中的一些也是采样算法。具体来说，我们介绍和评估的一个变种的后向采样，作为一个采样算法和随机枚举算法。我们还放松了采样和累积算法所使用的隐式假设，即查询节点必须在所有样本中实例化。
2013-02-13 cs.AI
Implementing a Bayesian Scheme for Revising Belief Commitments
Naval Research Laboratory（海军研究实验室）；JAYCOR（JAYCOR公司）；Defense Research Establishment Atlantic（大西洋国防研究机构）
我们以前对复杂船舶图像进行分类的工作[1，2]已经发展成为开发用于构建和解决通用分类问题的软件工具的努力。管理与特征数据和其他证据相关的不确定性是这项工作中的一个重要问题。管理不确定性的贝叶斯技术[7，12，13]已被证明对于管理分类问题解决的几个信念维护要求是有用的。其中一个要求是需要对所相信的东西作出定性的解释。Pearl [11]通过计算他所谓的信念承诺来解决这一需求，信念承诺是给定可用证据的所有假设变量的最可能实例。在计算信念承诺之前，Pearl的过程的直接实现涉及到找到一些通常困难的优化问题的解析解。我们描述了一个有效的实现这个过程中使用张量积，解决了这些问题，枚举，避免了个案分析的需要。因此，该程序在一般情况下使用起来更加实用。
2013-03-27 cs.AI
Activity Recognition in Assembly Tasks by Bayesian Filtering in Multi-Hypergraphs
Institute of Visual & Analytic Computing, University of Rostock（罗斯托克大学视觉与分析计算研究所）；Institute for Enterprise Systems, University of Mannheim（曼海姆大学企业系统研究所）
我们研究基于传感器的人类活动识别在手动工作过程中，如装配任务。在这样的过程中，系统状态往往具有丰富的结构，涉及对象的属性和关系。因此，通过递归贝叶斯滤波从传感器观测估计隐藏的系统状态可能是非常具有挑战性的，由于系统状态的数量的组合爆炸。为了缓解这个问题，我们提出了一个有效的贝叶斯过滤模型，这样的过程。在我们的方法中，系统状态表示的多超图，系统动力学模型的图重写规则。我们展示了一个初步的概念，可以表示分布在多超图更companimous比完全枚举，并提出了一个推理算法，直接在这个紧凑的表示。我们证明了该算法在一个真实的数据集上的适用性。
2022-02-01 cs.AI
Solution Enumeration by Optimality in Answer Set Programming
Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）
本文提出答案集编程中按最优性顺序枚举答案集（ASEO）的通用算法，支持最佳k个或无限枚举，并展示其在优化问题次优解访问和贝叶斯网络采样中的应用。
2021-08-07 cs.AI cs.LO
A Study of Scaling Issues in Bayesian Belief Networks for Ship Classification
The MITRE Corporation（MITRE公司）；Naval Research Laboratory（海军研究实验室）
与缩放相关的问题涉及人工智能领域中活跃且具有挑战性的研究主题。其目的是通过人工智能技术解决现实世界的问题，在现实世界问题的复杂性表示可能是组合的情况下。在本文中，我们提出了一种新的方法来处理船舶分类贝叶斯信念网络的缩放问题。所提出的方法将复杂船舶分类问题的概念模型划分为一组小模块，这些小模块一起工作来解决分类问题，同时保留原始模型的功能。解释传感器返回的可能方式（例如，某些特征的证据，例如沿着船的长度的舷窗，有时是组合的。因此，使用一种详尽的方法，这需要列举所有可能的解释，是不切实际的更大的问题。我们提出了一个网络结构（称为顺序分解，SD），其中每个观察与一组合法的结果，这是一致的解释，每个观察到的证据。结果表明，SD方法允许一个代表的功能观察关系在一个可管理的方式，并实现了相同的解释力作为一个详尽的方法。
2013-03-06 cs.AI
Bayesian Network Structure Learning with Integer Programming: Polytopes, Facets, and Complexity
University of York（约克大学）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
学习概率图模型结构的挑战性任务是现代AI研究中的一个重要问题。近年来，贝叶斯网络的结构学习算法取得了一些重大进展-可以说是最核心的一类图形模型-特别是在所谓的基于分数的设置中。在GOBNILP系统中实现了一种基于整数规划（IP）的最优贝叶斯网络结构学习（BNSL）的通用方法。尽管最近的算法的进步，目前的理解的基础方面的IP为基础的方法BNSL仍然有些缺乏。理解切割平面的基本方面和相关的分离问题（不仅从纯理论的角度来看很重要，而且因为它提供了进一步提高最先进方法的效率的希望，以准确地解决BNSL。在本文中，我们对这些目标作出了一些理论贡献：（i）我们研究了分离问题的计算复杂性，证明了该问题是NP-难的;（ii）我们形式化和分析了基于IP的BNSL方法的三个关键多面体之间的关系;（iii）我们从理论和实践的角度研究了三个多面体的方面，通过穷举计算，一个完整的枚举方面的低维家庭可变多面体;和，此外，（四）我们建立了紧密的连接的BNSL问题的无环子图问题。
2016-12-18 cs.AI
A Minimalist Bayesian Framework for Stochastic Optimization
Department of IEOR and Data Science Institute, Columbia University（工业工程与数据科学学院，哥伦比亚大学）
提出极简贝叶斯框架，仅对最优位置设先验并用轮廓似然处理约束，开发MINTS算法，适用于结构化问题，并为经典凸优化提供概率视角，在多臂赌博机中实现近乎最优遗憾。
2025-10-08 cs.AI cs.LG math.OC
Reasoning and Facts Explanation in Valuation Based Systems
Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
在文献中，确定一组复合假设H的优化问题，这将产生$k$最大的$P(H|S_e)$，其中复合假设是网络中除证据节点\cite{KSy:93}之外的所有节点的实例化是非常感兴趣的。这个问题被称为“在贝叶斯信念网络中找到给定证据$S_e$的$k$最合理解释（MPE）”。寻找$k$最可能假设的问题通常是NP难的\cite{Cooper:90}。因此，在过去，已经研究了通过限制$k$（到1或2）、限制结构（例如到单连接网络）或将复杂度转移到空间域来对任务进行各种简化。本文提出了一种遗传算法来克服这些限制，同时通过将遗传算法方法推广到Dempster-Shafer信念演算领域，提出了一种从概率域跨出到一般的基于评估系统（VBS）框架的遗传算法。
2018-12-21 cs.AI
From Sorting Algorithms to Scalable Kernels: Bayesian Optimization in High-Dimensional Permutation Spaces
State Key Laboratory of Precision and Intelligent Chemistry（精准与智能化学国家重点实验室）
针对高维排列空间贝叶斯优化中表示可扩展性差的问题，提出基于排序算法的核函数框架，其中Mallows核是枚举排序的特例，而新提出的Merge核通过归并排序的分解结构实现Θ(n log n)复杂度且无信息损失，在低维性能相当，高维显著提升优化效果与计算效率。
2026-06-15 cs.AI cs.LG
Toward a general, scaleable framework for Bayesian teaching with applications to topic models
机器，而不是人类，是世界上占主导地位的知识来源，但人类仍然是占主导地位的决策者。解释和传播机器积累的知识需要专业知识、时间，而且容易失败。如何最好地将积累的知识从计算机传达给人类的问题是机器学习更广泛应用的关键瓶颈。我们提出了一种基于人类教学的方法，其中问题被形式化为选择数据的一个小子集，该子集将以高概率引导人类用户进行正确的推理。这种方法虽然在简单的实验室实验中成功地模拟了人类学习，但由于制定通用和可扩展算法的挑战，未能实现更广泛的相关性。我们提出了通用的教学通过伪边缘采样和演示的算法教学主题模型。仿真结果表明，我们的基于采样的方法：有效地近似的概率，其中地面真理是可能通过枚举，结果的数据是显着不同的随机采样的预期，并加快学习，特别是对于少量的数据。应用到电影大纲数据说明了教学和随机抽样的教学分布和特定主题之间的差异，并展示了可扩展性和适用性的收益，以现实世界的问题。
2016-05-25 cs.AI cs.LG stat.ML
Bayesian Active Edge Evaluation on Expensive Graphs
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Computer Science and Engineering, University of Washington（华盛顿大学计算机科学与工程学院）
机器人在具有不同隐式结构的环境中操作。例如，一架直升机在地面上飞行时遇到的障碍物与一只机械臂在杂乱的桌面上操纵物体时遇到的障碍物的排列方式非常不同。现有技术的运动规划系统不利用这种结构，从而花费有价值的规划努力来寻找不可信的解决方案。我们感兴趣的规划算法，积极推断的基础结构的有效配置空间在规划过程中，以找到解决方案，以最小的努力。考虑评估图上的边以快速发现无冲突路径的问题。评估边缘是昂贵的，无论是对于具有复杂几何形状的机器人（如机器人手臂），还是对于具有有限机载计算的机器人（如无人机）。到目前为止，这个挑战已经通过懒惰来解决，即推迟边缘评估直到绝对必要，希望边缘是有效的。然而，所有的边在值上并不相同-一些边有很多潜在的好路径流过它们，而另一些边则对相邻边有效的可能性进行编码。这导致了我们的关键见解-而不是被动的懒惰，我们可以主动选择减少路径有效性不确定性的边缘。我们表明，这是等同于决策区域确定（DRD）的贝叶斯主动学习范式。然而，DRD问题不仅组合困难，而且需要明确枚举所有可能的世界。我们提出了一个新的框架，结合两个DRD算法，直接和BISECT，以克服这两个问题。我们表明，我们的方法优于几个国家的最先进的算法上的频谱规划问题的移动机器人，机械手和自主直升机。
2017-11-20 cs.AI cs.RO
Computational Complexity Reduction for BN2O Networks Using Similarity of States
虽然在一般的贝叶斯信念网络的概率推理是一个NP难问题，推理的计算时间可以减少在大多数实际情况下，通过利用领域知识，并通过在知识表示近似。本文介绍了状态相似性的性质以及基于此性质的近似知识表示和推理的一种新方法。我们定义一个节点的两个或多个状态是相似的，当它们的概率比，似然比，不依赖于网络中其他节点的实例。我们发现，状态的相似性暴露冗余的联合概率分布，可以用来减少计算时间的概率推理网络中的多个相似的状态，并在网络中的计算复杂性指数许多相似的状态可能是多项式。我们展示了我们的想法的例子BN 2 O网络-一个两层的网络经常用于诊断问题-通过减少它到一个非常接近的网络与多个类似的状态。我们表明，实际查询的答案收敛速度非常快，与原始网络获得的答案。对于只需要原始BN 2 O模型所需计算时间的10%的模型，最大误差低至5%。
2013-02-13 cs.AI
