Belief Updating by Enumerating High-Probability Independence-Based Assignments
Air Force Institute of Technology(空军理工学院);Ben Gurion University of the Negev(内盖夫本-古里安大学)
基于独立性(IB)的贝叶斯信念网络分配最初被提出作为溯因解释。IB分配分配更少的变量在溯因解释比计划分配值的所有证据支持的变量。我们使用IB分配来近似贝叶斯信念网络中的边缘概率。最近的工作在贝叶斯网络的信念更新试图近似后验概率找到一个小数目的最高概率完成(或可能证据支持)的分配。在某些假设下,这些赋值的并集中的概率质量足以获得良好的近似。这种方法对于高度连接的网络特别有用,其中最大团大小或割集大小使标准算法难以处理。由于IB作业包含较少的分配变量,因此每个作业中的概率质量大于相应的完整作业。因此,更少的IB赋值就足够了,并且可以更有效地获得良好的近似。IB分配可以用于有效地近似后验节点概率,即使在不遵守先前研究中使用的相当严格的偏度假设的情况下。提出了两种寻找高概率IB分配的算法:一种是最佳优先启发式搜索算法,另一种是专用整数线性规划算法。实验结果表明,该方法对高度连通的信度网络是可行的。
2013-02-27 cs.AI
The belief noisy-or model applied to network reliability analysis
Northwestern Polytechnical University(西北工业大学);University of Rennes 1(雷恩第一大学)
贝叶斯网络(BN)知识工程的难点之一是条件概率表(CPT)的量化。CPT中包含的参数数量随着父变量的数量呈指数增长。最常见的解决方案是应用所谓的规范门。噪声或(NOR)门,它利用因果相互作用的独立性,提供了指定CPT所需的参数数量的对数减少。本文提出了一种基于信度函数理论的NOR模型的扩展--信度噪声OR(Belief Noisy-OR)。BNOR能够处理网络的偶然性和认识性不确定性。与NOR相比,在现有知识不确定的情况下,可以获得更丰富的信息,对决策有重要的参考价值。特别地,当不存在认知不确定性时,BNOR退化为NOR。此外,本文还提出了不同的BNOR结构,以满足工程师的不同需求。将BNOR模型应用于网络化系统的可靠性评估问题,证明了其有效性。
2016-06-03 cs.AI
Dempsterian-Shaferian Belief Network From Data
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
Shenoy和Shafer {Shenoy:90}证明了对于Dempster-Shafer理论和概率论,存在有效地计算联合置信分布的边缘(通过所谓的局部计算)的可能性,只要联合分布可以分解(因式分解)成置信网络。存在许多算法用于将概率联合信念分布从数据分解成baidu(信念)网络。例如,Spirtes,Gaviour和Schein{Spirtes:90 b}提出了一个猜想,即直接依赖测试和头对头会议测试足以以Pearl的d-分离概念{Geiger:90}适用的方式从数据中对网络进行分类。本文旨在将Spirtes,Gaviour和Scheines {Spirtes:90 b}方法转移到Dempster-Shafer理论(DST)的基础上。为此,利用{Klopotek:93 b}中开发的DST的频率论解释。DST的条件性的一个特殊的概念被引入,并证明了行为相对于珍珠的d-分离{盖革:90}的方式与条件概率(虽然一些差异,如非唯一性是显而易见的)。在此基础上,开发了类似于{Spirtes:90 b}的算法。引入了部分定向图的概念,并在此图中定义了p-d-分离的概念。如果直接相关检验和头对头会议测试被用来定向的POG,那么它的p-d-分离被证明是等效的Pearl的d-分离的任何兼容的DAG。
2018-06-06 cs.AI
A Simple Insight into Iterative Belief Propagation's Success
University of California, Irvine(加州大学尔湾分校)
在非遍历信度网络中,许多查询的后验信度在给定证据的情况下可能变为零.本文证明了当信度传播在任意网络上迭代应用时(所谓的迭代或循环信度传播(IBP)),它与关于零信度查询的弧一致性算法(即评估零后验概率)是相同的.这意味着由信念传播得到的零信念结论是收敛的和可靠的。更重要的是,它表明IBP的推理能力与弧一致性的推理能力一样强和一样弱。这一方面允许对信念传播无用的信念网络进行合成,另一方面集中于对信念传播可能是零完全的信念网络类的研究。最后,所有上述结论也适用于广义置信传播算法,它扩展了循环置信传播,并允许对它们的能力有一个严格的理解。
2012-10-19 cs.AI
On Marginally Correct Approximations of Dempster-Shafer Belief Functions from Data
Institute of Computer Science(计算机科学研究所);Polish Academy of Sciences(波兰科学院)
数学证据理论(Mathematical Theory of Evidence,MTE)是在部分无知下进行推理的基础,它被指责将频率留在其框架之外(或旁边)。这种指责的严重性是显而易见的:没有实验可以运行来比较基于真实世界数据的真实世界过程模型的性能。在本文中,我们考虑这个问题的观点,条件的MTE。我们描述了一类的信念函数,其边际一致性与观察到的频率可以实现和条件的信念函数是适当的信念函数,%\和处理的影响(边际)近似一般的信念函数,这类信念函数和推理模型在MTE。
2018-12-07 cs.AI
Belief Maintenance in Bayesian Networks
McGill University(麦吉尔大学);Universita di Pavia(帕维亚大学)
贝叶斯信度网络(Bayesian Belief Networks,BBN)是一种用于不确定性推理的强大形式,但也存在一些严重的局限性:在任何推理过程开始之前需要大量的信息,矛盾处理能力有限,对结论的解释能力仍存在争议。存在一类推理系统,称为真值维护系统(Truth Maintenance Systems,TMS),它们能够处理部分指定的知识,为它们的结论提供有根据的解释,并检测和处理矛盾。包含不确定性度量的TMS被称为信念维护系统(BMS)。本文介绍了如何BMS基于概率逻辑可以应用到BBN,从而引入了一类新的BBN,称为无知的信念网络,能够逐步处理部分指定的条件依赖,提供解释,并检测和处理矛盾。
2013-02-27 cs.AI
Uncertainty measurement with belief entropy on interference effect in Quantum-Like Bayesian Networks
Northwestern Polytechnical University(西北工业大学);China Equipment System Engineering Company(中国装备系统工程公司)
社会困境一直被认为是进化博弈论的精髓,其中囚徒困境博弈是对合作问题最著名的隐喻。最近的研究发现,人们的行为违反了这类游戏中的“确定性原则”。经典的概率方法很难解释人们行为的潜在机制。本文提出了一种新的类量子贝叶斯网络来适应这一悖论现象。这种特殊的网络可以考虑干扰,这可能是一种有效的方式来描述底层机制。在此基础上,引入了信度熵,即邓熵,并提出了信度距离的概念。通过实证数据的检验,证明了该模型的预测性和有效性。
2017-09-08 cs.AI math.PR
MCE Reasoning in Recursive Causal Networks
The University of Melbourne(墨尔本大学)
基于最小交叉熵(MCE)原理和递归因果模型(RCM)的概念,提出了一种不确定条件下的概率推理方法。变量之间的依赖关系和相关性用一种特殊的语言BNDL(信念网络描述语言)来描述。信念在代表潜在概率分布的BNDL程序的子句之间传播。用Prolog和C语言分别实现了BNDL语言的解释器,并与其它方法进行了性能比较。
2013-03-27 cs.AI
Decrement Operators in Belief Change
FernUniversität in Hagen(哈根远程大学)
在迭代信念改变领域中,迭代修正的研究占主导地位,而迭代收缩算子类近年来受到了更多的关注。在这篇文章中,我们研究了迭代收缩的非优先概括。特别地,引入了一类弱减量算子,这是通过多个步骤实现与收缩相同的算子。受Darwiche和Pearl的迭代修正工作的启发,定义了减量算子的子类.对于这两个,减量和弱减量运营商,提出了假设,并为他们每一个都给出了一个表示定理的框架下的全预序。此外,我们提出了两个子类型的减量运营商。
2019-07-18 cs.AI
Loopy Belief Propagation for Approximate Inference: An Empirical Study
最近,研究者们证明了在具有纠错码循环的贝叶斯网络中使用Pearls多叉树算法的循环信念传播,其中最引人注目的例子是Turbo码的性能接近Shannon极限,其译码算法等价于链结构贝叶斯网络中的循环信念传播.在本文中,我们要问:纠错码上下文中是否有什么特殊之处,或者循环传播在更一般的设置中是否作为一种近似推理方案工作?我们比较了在四种贝叶斯网络结构中使用循环传播计算的边缘值和精确的边缘值,包括两个真实世界的网络:ALARM和QMR.我们发现循环信念经常收敛,并且当它们收敛时,它们给出了正确边缘值的一个很好的近似.然而,在QMR网络上,循环信念振荡,并且与正确的后验没有明显的关系.我们对这些振荡的原因进行了初步的研究,并指出一些防止它们的简单方法会导致错误的结果。
2013-01-23 cs.AI cs.LG
Updating beliefs with incomplete observations
目前,有新的兴趣的问题,提出了谢弗在1985年,更新概率时,观察是不完整的。这是一个基本问题,特别是贝叶斯网络。最近,Grunwald和Halpern已经表明,常用的更新策略在这种情况下失败,除非在非常特殊的假设。在本文中,我们提出了一种新的方法来更新不完整的观测值的概率。我们的方法是故意保守的:我们不对所谓的不完整性机制做任何假设,这种机制将完整与不完整的观察联系起来。我们通过一个空洞的低预见来模拟我们对这种机制的无知,这是一种来自不精确概率理论的工具,我们只使用相干参数来将先验概率转换为后验概率。一般来说,这种新的更新方法会产生较低和较高的后验概率和期望,以及部分确定的决策。这是对不完全性机制的现有无知的逻辑结果。我们应用新的方法来分类的问题,新的证据在概率专家系统,在那里它会导致一个新的,所谓的保守更新规则。在贝叶斯网络使用专家知识构建的特殊情况下,我们提供了一个精确的算法分类的基础上,我们的更新规则,它具有线性时间复杂度的一类网络比多叉树。然后,这个结果被扩展到更一般的信用网络框架,其中计算通常比贝叶斯网络更困难。使用一个例子,我们表明,我们的规则似乎提供了一个坚实的基础,可靠的更新不完整的观察,当没有强有力的假设不完整的机制是合理的。
2004-05-17 cs.AI
Dynamic Construction of Belief Networks
Brown University(布朗大学)
我们描述了一种增量式构造信念网络的方法。我们已经开发了一种网络构造语言,类似于使用数据依赖关系的前向链接语言,但具有用于指定分布的附加功能。使用这种语言,我们可以定义概率模型的参数化类。这些参数化的模型使得有可能应用概率推理的问题,这是不切实际的,有一个单一的大型静态模型。
2013-03-27 cs.AI
Mean Field Theory for Sigmoid Belief Networks
我们开发了一个平均场理论的基础上,从统计力学的思想,S形信念网络。我们的平均场理论提供了一个易于处理的近似这些网络中的真实概率分布,它也产生了证据的可能性的下限。我们证明了这个框架的实用性在统计模式识别的基准问题-手写数字的分类。
1996-03-01 cs.AI
Asynchronous Dynamic Bayesian Networks
Harvard University(哈佛大学)
传感器网络和自主机器人团队等系统由多个自主实体组成,这些实体以分布式异步方式相互交互。这些实体需要在系统发展时跟踪系统的状态。异步系统会给监控带来特殊的挑战,因为节点必须彼此独立地更新它们的信念,并且不可能进行中央协调。此外,系统的状态随着信念的更新而不断变化。以前的方法来开发分布式异步概率推理系统使用静态模型。我们提出了一种使用动态模型的方法,考虑到系统随时间改变状态的方式。我们的方法基于信念传播,是完全分布式和异步的,并且允许世界随着消息的发送而不断变化。实验结果表明,我们的方法相比,毫不逊色因子化前沿算法。
2012-07-04 cs.AI
Belief Propagation for Linear Programming
University of California, Irvine(加州大学欧文分校);IBM T. J. Watson Research(IBM托马斯·J·沃森研究中心);Los Alamos National Lab(洛斯阿拉莫斯国家实验室)
置信传播(BP)是一种流行的分布式启发式算法,用于在图形模型中执行MAP计算。从变分的角度来看,BP可以被解释为最小化贝特自由能(BFE)。BP也可以用来解决一类特殊的线性规划(LP)问题。对于这类问题,MAP推断可以被陈述为具有LP松弛的整数LP,该LP松弛与"零温度”下的BFE最小化一致。我们推广了这些先前的结果,并建立了一个严格的特征的LP问题,可以制定为一个等价的LP松弛MAP推理。此外,我们提出了一个有效的,迭代退火BP算法来解决这类更广泛的LP问题。我们证明了该算法的性能上的一组加权匹配问题,通过使用它作为一个切割平面的方法来解决一系列的LP收紧增加“开花”的不平等。
2013-05-17 cs.AI cs.DS
Non-characterizability of belief revision: an application of finite model theory
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组)
一个正式的框架给出了一类信念修正算子的特征,定义使用最小化一类部分前序,由公设。它表明,对于偏序特征化蕴含着一元二阶逻辑的偏序类的可定义性。基于一类偏序的不可定义性结果,给出了一类不可刻画的修正算子的例子。这似乎是信念修正中的第一个非特征化结果。
2014-03-31 cs.AI cs.LO math.LO
Consistent transformations of belief functions
Oxford Brookes University(牛津布鲁克斯大学)
一致性信念函数表示一致或非矛盾证据的集合,但它们大多是信念演算中一致性知识库的对应物。使用一致的转换cs[.]因此,在推理过程中保证一致性是可取的,并推广了经典逻辑中的类似技术。变换可以通过最小化原始置信函数和一致置信函数集合之间的适当距离度量来获得。我们在这里集中的情况下,距离测量使用经典的Lp规范,在“质量空间”和“信仰空间”表示的信仰功能。虽然质量一致近似将未聚焦在框架的选定元素上的质量重新分配给整个框架或平等地分配给元素的所有超集,但置信空间中的近似确实根据“聚焦一致变换”原理区分这些焦点元素。不同的近似解释和比较,与例子的帮助。
2014-07-30 cs.AI stat.ME
A new belief Markov chain model and its application in inventory prediction
Northwestern Polytechnical University(西北工业大学)
马尔可夫链模型在许多领域有着广泛的应用,尤其是预测领域。经典的离散时间马尔可夫链(DTMC)是一种广泛使用的预测方法。然而,当系统具有不确定信息或状态空间不离散时,传统的DTMC模型存在一定的局限性。针对这一问题,将Dempster-Shafer证据理论与马尔可夫链相结合,提出了一种新的信念马尔可夫链模型。该模型允许不确定数据以区间数的形式进行处理,并根据区间数之间的距离生成基本概率分配。新的信念马尔可夫链模型克服了经典马尔可夫链的缺点,具有处理不确定信息的能力。最后,通过库存预测的实例以及与传统DTMC模型的比较,验证了该模型的有效性和合理性。
2017-03-06 cs.AI cs.CE
Bridging belief function theory to modern machine learning
Université Grenoble-Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);INSERM(法国国家健康与医学研究院)
机器学习是一个快速发展的领域,现在看起来与15年前完全不同,当时分类和聚类是主要问题。本文提出了几个趋势来探索现代机器学习的新问题,并强烈认为信念函数框架可以发挥重要作用。
2015-04-15 cs.AI cs.LG
Towards conservative inference in credal networks using belief functions: the case of credal chains
Eindhoven University of Technology, The Netherlands(埃因霍温理工大学,荷兰)
本文提出基于Dempster-Shafer理论在credal chains中传播不确定性的新框架,通过信念与似然函数高效生成保守区间,并对比经典敏感性分析揭示其优势与局限。
2025-07-10 cs.AI math.PR
Expectation Propagation for approximate Bayesian inference
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的贝叶斯网络的确定性逼近技术。这种方法,“期望传播”,统一了两个以前的技术:假设密度过滤,卡尔曼滤波器的扩展,和循环的信念传播,在贝叶斯网络的信念传播的扩展。所有这三种算法都试图恢复一个近似分布,该分布在KL散度上接近真实分布。循环信念传播,因为它传播精确的信念状态,是有用的信念网络的有限类别,如那些纯粹是离散的。期望传播通过仅保留某些期望(例如均值和方差)来近似信念状态,并迭代直到这些期望在整个网络中保持一致。这使得它适用于具有离散和连续节点的混合网络。期望传播也在相反的方向上扩展了信念传播-它可以传播更丰富的信念状态,包括节点之间的相关性。高斯混合模型的实验表明,期望传播令人信服地优于具有类似计算成本的方法:拉普拉斯方法,变分贝叶斯和蒙特卡洛。期望传播也提供了一个有效的算法训练贝叶斯点机分类器。
2013-01-10 cs.AI cs.LG
Imaginary Kinematics
Sapienza University of Rome(罗马大学);IDSIA(达勒·莫莱人工智能研究所)
我们引入了一类新的调整规则的集合的信念。这是刘易斯成像的延伸,以吸收广义背景下的概率证据。不像标准的信念修正工具,我们的建议可能会使用时,信息是不一致的代理人的信念基础。我们表明,我们介绍的泛函是基于假想的对应的概率运动学标准的信念修订,并证明,在一定条件下,所有标准的信念修订的假设都得到满足。
2018-08-01 cs.AI cs.LO
Fine Tuning Method by using Knowledge Acquisition from Deep Belief Network
Hiroshima City University(广岛市立大学);Prefectural University of Hiroshima(广岛县立大学)
提出了一种自适应结构学习的受限玻尔兹曼机(RBM)方法,该方法根据输入模式通过自组织学习方法产生/消除神经元。此外,在预训练的RBM层的组装过程中,开发了自适应深度信念网络(DBN)。该方法在CIFAR-10等大数据基准测试的训练数据集上取得了很大成功。然而,包含未知模式的测试数据集的分类能力很高,但并不能得到完美的正确解。通过对错误数据的分析,发现了一些特征模式,并将这些模式的相关知识嵌入到训练好的DBN分类算法中。实验结果表明,该方法对未知数据集的分类正确率达到97.1%.
2018-07-11 cs.AI cs.NE
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego(加利福尼亚大学圣迭戈分校)
将深度学习硬件算法用于嵌入式应用的特点是存在挑战,例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现,我们考虑针对嵌入式设备分类任务的深度学习算法(称为判别式深度信念网络(DDBN))的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时,推理数据具有相同的类结构,但统计上不同的训练数据,由于动态实时操作环境。基于我们的分析,我们提供了新的见解和建议,选择训练目标,位宽值,和准确性的敏感性相对于标记的数据量,以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
Belief-Grounded Networks for Accelerated Robot Learning under Partial Observability
Northeastern University(东北大学)
许多重要的机器人问题是部分可观察的,因为单个视觉或力反馈测量不足以重建状态。标准的方法包括学习一个关于信念或观察-行动历史的政策。然而,这两种方法都有缺点;在线跟踪信念的成本很高,而且很难直接通过历史来学习策略。我们提出了一种在部分可观测性下进行策略学习的方法,称为基于信念的网络(BGN),其中辅助信念重建损失激励神经网络简明地总结其输入历史。由于所产生的策略是历史而不是信念的函数,因此它可以在运行时轻松执行。我们比较BGN与几个基线的经典基准任务,以及三个新的机器人触摸感应任务。BGN优于所有其他测试方法,其学习策略在转移到物理机器人上时工作良好。
2021-10-21 cs.AI cs.LG cs.RO