Independence, Conditionality and Structure of Dempster-Shafer Belief Functions
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
Several approaches of structuring (factorization, decomposition) of Dempster-Shafer joint belief functions from literature are reviewed with special emphasis on their capability to capture independence from the point of view of the claim that belief functions generalize bayes notion of probability. It is demonstrated that Zhu and Lee's {Zhu:93} logical networks and Smets' {Smets:93} directed acyclic graphs are unable to capture statistical dependence/independence of bayesian networks {Pearl:88}. On the other hand, though Shenoy and Shafer's hypergraphs can explicitly represent bayesian network…
2017-07-12 cs.AI
Temporal Properties of Conditional Independence in Dynamic Bayesian Networks
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文研究动态贝叶斯网络中条件独立性命题的时序逻辑验证问题,分析了随机与结构两类CI性质的验证复杂度,并给出了让结构CI性质验证易处理的图结构限制条件。
2025-11-13 cs.AI
Conditions Under Which Conditional Independence and Scoring Methods Lead to Identical Selection of Bayesian Network Models
City University, London(伦敦城市大学)
在处理从数据推断贝叶斯网络结构的任务的论文中,经常提到有两种不同的方法:(i)在测试边缘的存在或其他情况时应用条件独立性测试;(ii)使用评分度量搜索模型空间。在这里,我认为,对于完整的数据和一个给定的节点排序这种分工是一个神话,通过显示,交叉熵方法检查条件独立性是数学上相同的方法的基础上区分模型的整体拟合优度对数得分。
2013-01-10 cs.AI cs.LG stat.ML
Using Bayesian Network Representations for Effective Sampling from Generative Network Models
Purdue University(普渡大学)
贝叶斯网络(BN)用于推理和采样,利用随机变量之间的条件独立性。上下文特定独立性(CSI)是图形模型的一个属性,其中在随机变量(RV)的特定值的上下文中出现额外的独立关系。识别和利用CSI属性可以简化推断。一些生成网络模型(从网络分布P(G)生成社交/信息网络样本的模型),在一组RV之间具有复杂的交互,可以用概率图形模型,特别是BN来表示。在目前的工作中,我们展示了一个这样的情况。我们讨论了如何混合克罗内克积图模型可以表示为BN,并研究其BN属性,可用于有效的采样。具体来说,我们表明,而不是表现出CSI属性,该模型具有确定性的上下文相关性(DCSD)。利用此属性可以将采样方法集中在采样空间的一个子集上,从而提高效率。
2015-07-11 cs.AI
Surjective Independence of Causal Influences for Local Bayesian Network Structures
University of Warwick(沃里克大学)
针对贝叶斯网络参数化中专家判断负担重、数量多及ICI假设过强的问题,本文提出放宽该假设的SICI局部结构模型,以支持更实用高效的参数化。
2025-09-29 cs.AI stat.ME
Automated Construction of Sparse Bayesian Networks from Unstructured Probabilistic Models and Domain Information
Rockwell Science Center(罗克韦尔科学中心);University of California(加利福尼亚大学)
给出了一个非结构化的概率模型和因果领域的专家信息的稀疏贝叶斯网络的自动构建算法已经开发和实现。我们的目标是获得一个网络,显式地揭示尽可能多的信息,有关条件独立性。网络是逐步建立的,每次添加一个节点。专家的信息和贪婪的启发式,试图保持在每一步添加到最小的弧的数量被用来指导搜索下一个节点添加。概率模型是一个谓词,可以回答有关域中的独立性查询。在实践中,该模型可以以各种方式实现。例如,模型可以是对经验数据进行的统计独立性测试,或者是对关于域的一组独立性陈述进行的演绎证明。
2013-03-27 cs.AI
Inter-causal Independence and Heterogeneous Factorization
Hong Kong University of Science and Technology(香港科技大学);University of British Columbia(不列颠哥伦比亚大学)
众所周知,条件独立性可以用于将联合概率分解为条件概率的乘积。本文提出了一种构造性的因果间独立性的定义,它可以用来进一步分解条件概率。提出了一种利用条件独立性和因果间独立性来降低贝叶斯网络推理复杂度的推理算法。
2013-02-27 cs.AI
Reduction of Computational Complexity in Bayesian Networks through Removal of Weak Dependencies
本文提出了一种通过识别和去除弱依赖关系(去除(道德化)独立图中的链接)来降低贝叶斯网络计算复杂性的方法。少量链接的移除可以显著地降低计算复杂性,因为若干填充和道德链接可以通过移除而变得多余。该方法描述的独立图,连接树,和潜在的功能与这些方面的影响。使用大型现实世界的网络的方法的实证评估证明了该方法的适用性。此外,该方法,这已实施的Hugin,补充了Jensen和Andersen(1990)提出的近似方法。
2013-02-27 cs.AI
On characterizing Inclusion of Bayesian Networks
Crystal Mountain Inf. Tech.(水晶山信息技术公司)
每个有向无环图(DAG)在一个有限的非空变量集(=节点)N上诱导一个独立模型,这是一个N上的条件独立语句列表。包含问题是如何(用图形术语)表征由DAG K诱导的模型中的所有独立语句是否都在由第二个DAG L诱导的模型中。Meek(1997)证明了这一包含成立当且仅当存在一个从L到K的DAG序列,使得只有某些“合法的”箭头反转和“合法的”箭头相加操作才能得到序列中的下一个DAG.本文给出了DAG模型包含的几个特征,并在DAG模型K和L至多有一个邻接不同的情况下验证了Meek猜想.作为热身,严格证明著名的图形特征的等价性的DAG,这是一个高度相关的问题,给出。
2013-01-10 cs.AI
On Testing Whether an Embedded Bayesian Network Represents a Probability Model
Technion(以色列理工学院);UCLA(加州大学洛杉矶分校)
测试包含不可测(隐藏)变量的概率模型的有效性被证明是一项艰巨的任务。我们证明了,测试模型是否与手头的数据在结构上不兼容的任务,需要指数数量的独立性评估,每个评估的形式是:“X有条件地独立于Y,给定Z。相比之下,测试标准贝叶斯网络需要线性数量的此类评估(每个顶点一个)。在积极的一面,我们表明,如果一个网络的隐变量G有一个树骨架,检查G是否代表一个给定的概率模型P需要多项式的独立性评估。此外,我们提供了一种算法,有效地构建一个树结构的贝叶斯网络(隐变量),代表P,如果这样的网络存在,并进一步认识到,当这样的网络不存在。
2013-02-27 cs.AI
Strong Completeness and Faithfulness in Bayesian Networks
Carnegie Mellon University(卡内基梅隆大学)
给出了离散贝叶斯网络的d-分离的一个完备性结果,并证明了在强测度论意义下,对于给定的网络结构,几乎所有的离散分布都是忠实的,即分布的独立性事实都是且仅是网络结构所包含的.
2013-02-20 cs.AI
Separation Properties of Sets of Probability Measures
Escola Politecnica, Universidade de Sao Paulo(圣保罗大学理工学院)
本文分析了与有向无环图相关的概率测度集的独立性概念。本文表明,认知独立性和标准的马尔可夫条件违反了理想的分离性质。收缩条件的采用导致d-分离,但仍然不能保证信念分离属性。为了克服这种不令人满意的情况下,提出了一个强马尔可夫条件,基于认知独立性。主要结果是,强马尔可夫条件导致强独立性,并加强分离性质;这一结果意味着(1)贝叶斯网络的分离性质确实扩展到认知独立性和概率测度集,(2)强独立性有一个明确的理由,基于认知独立性和强马尔可夫条件。
2013-01-16 cs.AI
Advances in Probabilistic Reasoning
Northrop Research and Technology Center(诺斯罗普研究与技术中心);University of Southern California(南加州大学)
本文讨论了编码非对称独立断言的多贝叶斯网络表示范式。我们提供三个贡献:(1)一种推理机制,它明确地使用非对称独立性来加速计算,(2)相似性网络的简化定义及其理论的扩展,以及(3)一种广义表示方案,它编码了比相似性网络更多类型的非对称独立性断言。
2015-05-16 cs.AI
Argument Calculus and Networks
University of California(加利福尼亚大学)
概率演算成功背后的一个主要原因是它拥有许多有价值的工具,这些工具基于概率独立性的概念。在本文中,我确定了一个概念的逻辑独立性,使这些工具中的一些提供给一类命题数据库,称为参数数据库。具体来说,我建议用一种图形化的方式来表示参数数据库,称为参数网络,它类似于贝叶斯网络。我还提出了一个用参数网络进行推理的算法,它类似于用贝叶斯网络进行推理的基本算法。最后,我展示了论证网络有几个应用:非单调推理、真值维护和诊断。
2013-03-06 cs.AI
p-d-Separation -- A Concept for Expressing Dependence/Independence Relations in Causal Networks
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
Spirtes、Gaviour和Scheines提出了一个猜想,即直接依赖检验和头对头会议检验足以证明联合概率分布(贝叶斯网络)的有向非循环图分解,Pearl的d-分离适用于该分解。这个猜想后来被证明是Pearl和Verma的一个结果的直接结果。本文利用p-d-分离(partial dependency separation)的概念,用一种新的方法证明了这个猜想。虽然Pearl的d-分离适用于贝叶斯网络,但p-d-分离适用于因果网络:即部分定向网络,其中仅向那些表示统计确认的因果影响的边缘提供方向,而无向边缘表示直接影响的存在,而不可能确定因果关系的方向。作为证明这个猜想的有效性的特殊方法的结果,一个算法的建设的所有有向无环图(dags)携带可用的独立信息也被提出。引入了部分定向图的概念,并在此图中定义了p-d-分离的概念。它表明,p-d-分离内的POG是等效的d-分离在所有衍生的dags。
2020-06-15 cs.AI
On the Use of Skeletons when Learning in Bayesian Networks
Siemens AG, Corporate Technology(西门子股份公司,中央研究院)
在本文中,我们提出了一个启发式操作,其目的是在搜索过程中,同时优化所有的边缘在中间贝叶斯网络结构的方向。这是通过在有向无环图(DAG)空间和骨架空间之间交替来完成的。发现的方向的边缘是基于评分函数,而不是诱导的条件独立性。此运算符可用作常用搜索策略的扩展。它是在实验中与人工和真实世界的数据进行评估。
2013-01-16 cs.AI
An Algorithm for the Construction of Bayesian Network Structures from Data
University of South Carolina(南卡罗来纳大学)
以前的算法从数据的贝叶斯信念网络结构的建设已经高度依赖于条件独立性(CI)测试,或需要由用户提供的节点上的排序。我们提出了一个算法,集成这两种方法- CI测试是用来生成一个排序的节点从数据库中,然后使用非CI为基础的方法来恢复底层贝叶斯网络结构。两个网络(报警和LED)的算法的初步评估结果。我们还讨论了一些算法的性能问题和开放的问题。
2013-03-06 cs.AI
Lazy Propagation in Junction Trees
Aalborg University(奥尔堡大学)
贝叶斯网络中利用二级结构进行概率推理的算法可以通过利用证据诱导的独立关系和原网络中链接的方向来提高效率。在本文中,我们提出了一种算法,在线利用独立关系诱导的证据和方向的链接在原始网络中,以减少时间和空间成本。而不是乘的条件概率分布的各种集团,我们在线确定哪些潜力倍增时,一个消息是要产生的。该算法的性能改进强调通过经验评估涉及大型现实世界的贝叶斯网络,我们比较的方法与HUGIN和Shafer-Shenoy推理算法。
2013-01-30 cs.AI
Implementation of Continuous Bayesian Networks Using Sums of Weighted Gaussians
Telecommunications Research Center(电信研究中心);Arizona State University(亚利桑那州立大学);Department of Electrical Engineering(电气工程系)
贝叶斯网络提供了一种表示随机变量之间的条件独立性并计算与这些随机变量相关联的概率分布的方法。在本文中,我们扩展贝叶斯网络结构计算连续随机变量的概率密度函数。我们使这种扩展近似先验和条件密度加权高斯分布的总和,然后找到传播规则更新的密度在这些权重。我们提出了一个简单的例子,说明了连续变量的贝叶斯网络;这个例子显示了网络结构和近似误差对网络中变量密度计算的影响。
2013-02-20 cs.AI
Embedded Bayesian Network Classifiers
Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
贝叶斯网络中局部分布函数的低维概率模型包括决策树、决策图和因果独立模型。我们描述了一个新的概率模型的离散贝叶斯网络,我们称之为嵌入式贝叶斯网络分类器或EBNC。给定父节点$\bf X$的节点$Y$的模型从用于$Y$和$\bf X$的(通常不同的)贝叶斯网络获得,其中$\bf X$不需要是$Y$的父节点。我们证明了EBNC是softmax多项式回归模型的一个特例。此外,我们将展示如何识别一个EBNC的非冗余参数集,并描述了一个渐近近似学习的贝叶斯网络,包含EBNC的结构。与决策树、决策图和因果独立模型不同,我们不知道使用这些模型的语义理由。需要实验来确定本文提出的模型是否在实践中是有用的。
2019-10-22 cs.AI cs.LG stat.ML
Belief Update in CLG Bayesian Networks With Lazy Propagation
HUGIN Expert A/S(HUGIN Expert 公司)
近年来,具有连续和离散变量混合的贝叶斯网络(BN)受到了越来越多的关注。我们提出了一种结构的精确信念更新条件线性高斯贝叶斯网络(CLG BN)。该架构是使用Lauritzen & Jensen [6]和Cowell [2]的操作的惰性传播的扩展。通过将团和分离器潜力分解为因子集,所提出的架构利用了由图和证据的结构引起的独立性和不相关性。举例说明了由此产生的好处。初步的经验性能评估的结果表明,所提出的架构的显着潜力。
2012-06-27 cs.AI
Conditional Utility, Utility Independence, and Utility Networks
Stanford University(斯坦福大学)
我们引入了一个新的解释两个相关的概念-条件效用和效用独立性。与传统的解释不同,新的解释使概念的概率对应物的直接类似物。为了正式捕捉这些概念,我们呼吁效用分配的概念,在前面的文章中介绍。我们表明,效用分布,这是一个结构相同的概率分布,可以被看作是一个特殊的情况下,添加剂的多属性效用函数,并显示这种特殊的情况下,使我们能够捕捉到新的意义上的条件效用和效用的独立性。最后,我们提出了效用网络的概念,它为效用做了贝叶斯网络为概率做的事情。具体而言,效用网络利用条件效用和效用独立性的新解释来计算表示效用分布。
2013-02-06 cs.AI cs.GT
A survey on independence-based Markov networks learning
National Technological University(国立理工大学)
这项工作报告的最相关的技术方面的问题,学习的\emph{Markov network structure}从数据。这样的问题在机器学习以及机器学习的许多其他应用领域中变得越来越重要。马尔可夫网络和贝叶斯网络都是概率图形模型,是一种广泛用于处理智能系统中概率分布的形式主义。从数据中学习图形模型已被广泛应用于贝叶斯网络的情况下,但马尔可夫网络的学习,它是不听话的实践。然而,这种情况正在随着时间的推移而改变,考虑到计算机容量的指数增长,可用的数字数据过多,以及对新学习技术的研究。这项工作强调了一种称为基于独立性的学习的技术,该技术允许以有效和合理的方式从数据中学习这些网络的独立性结构,只要数据集足够大,并且数据是目标分布的代表性样本。在这种技术的分析中,这项工作调查了目前最先进的学习马尔可夫网络结构的算法,讨论了其目前的局限性,并提出了一系列开放的问题,未来的工作可能会产生一些进步,在该领域的质量和效率方面。最后,本文讨论了如何开发一个通用的形式主义,以提高学习的结构的质量,当数据是稀缺的。
2013-11-20 cs.AI cs.LG
A Robust Independence Test for Constraint-Based Learning of Causal Structure
Decision Systems Laboratory(决策系统实验室);Intelligent Systems Program(智能系统项目);University of Pittsburgh(匹兹堡大学);School of Information Sciences(信息科学学院)
基于约束(CB)的学习是一种通过执行一系列条件独立性测试来推断结构信息来学习具有数据库D的因果网络的形式主义。本文考虑了一种新的独立性测试,它结合了贝叶斯学习,贝叶斯网络推理和经典假设检验的思想,以产生更可靠和更强大的测试。新的检验可以在与标准检验(如卡方检验)相同的渐近时间和空间中计算,但它允许指定参数的先验分布,并且可以在数据库不完整时使用。我们证明了测试是正确的,我们证明了经验,当使用CB因果发现算法与noninformative先验,它恢复结构特征更可靠,它产生的网络与较小的KL发散,特别是随着节点的数量增加或记录的数量减少。另一个好处是CB算法在搜索过程中停止的概率大大降低,为数据库较小时CB学习的恼人问题提供了补救措施。
2012-10-19 cs.AI cs.LG stat.ML
Exploiting Contextual Independence In Probabilistic Inference
University of British Columbia(英属哥伦比亚大学);Hong Kong University of Science and Technology(香港科技大学)
贝叶斯信念网络已经变得突出,因为它们为概率推理适用的许多问题提供了紧凑的表示,并且有算法可以利用这种紧凑性。下一步是允许一个变量的条件概率的紧凑表示,给定它的父母。在本文中,我们提出了这样一种表示,利用上下文的独立性,在父母的背景下,哪些变量作为父母可能取决于其他变量的值。内部表示是根据上下文因素(confactors),即上下文和表的一对。上下文变量消除算法基于标准变量消除算法,依次消除非查询变量,但在消除变量时,需要相乘的表可以取决于上下文。当没有上下文无关结构可供利用时,该算法简化为标准变量消除。我们展示了如何可以更有效地比变量消除时,有结构利用。我们解释了为什么这种新方法可以利用更多的结构比以前的方法结构化的信念网络推理和类似的算法,使用树。
2011-06-24 cs.AI
Learning Bayesian Networks from Incomplete Databases
从数据库中学习贝叶斯置信网络(BBN)图形结构的贝叶斯方法都假设数据库是完整的,也就是说,没有条目被报告为未知。试图放宽这一假设涉及到昂贵的迭代法的使用,以区分不同的结构。本文介绍了一种确定性的方法来学习一个BBN的图形结构,从一个可能不完整的数据库。实验结果表明,该方法具有很强的鲁棒性,并且其执行时间与丢失数据的数量具有显著的独立性。
2013-02-06 cs.AI cs.LG
Staged trees and asymmetry-labeled DAGs
Universitat de València(瓦伦西亚大学);Università degli Studi di Genova(热那亚大学);IE University(IE大学)
贝叶斯网络是一类广泛使用的概率图模型,能够使用底层图的拓扑来表示感兴趣的变量之间的对称条件独立性。对于分类变量,它们可以被视为更一般的模型类别的特殊情况,称为阶段树,它可以表示任何类型的非对称条件独立性。在这里,我们形式化这两个模型之间的关系,并介绍了一个最小贝叶斯网络表示的阶段树,它可以用来读取条件独立性在一个直观的方式。定义了一种新的标记图--非对称标记有向无环图,它的边被标记以表示任意两个随机变量之间存在的依赖类型。我们还提出了一种新的算法来学习阶段树,它只执行非对称独立的特定子集。各种数据集被用来说明的方法,强调需要构建模型,更灵活地编码和表示非对称结构。
2022-10-05 cs.AI cs.LG stat.ML
Reading Dependencies from Polytree-Like Bayesian Networks
Division of Computational Biology(计算生物学系);Department of Physics, Chemistry and Biology(物理、化学与生物学系)
当G是一棵多叉树且p满足复合性和弱传递性时,我们给出了一个从图型p的最小有向独立映射G中读取依赖关系的图形准则。我们证明了该准则是合理的和完备的。我们认为,假设合成和弱传递性是不是太严格。
2012-06-20 cs.AI cs.LG stat.ML
Conditional independences and causal relations implied by sets of equations
University of Amsterdam(阿姆斯特丹大学);Radboud University Nijmegen(拉德堡德大学)
现实世界中的复杂系统往往是由一组具有内生和外生变量的方程来建模的。对于出现在这些方程中的变量的因果和概率方面,我们能说些什么呢?我们利用Simon的因果排序算法(Simon,1953)构造了一个因果排序图,并证明了在某些唯一的可解性假设下,它表示了软的和完美的干预对方程的影响。我们进一步构建了一个马尔可夫排序图,并证明了它编码的条件独立的分布所隐含的方程与独立的随机外生变量,在一个类似的唯一的可解性假设。我们讨论了这种方法如何揭示和解决现有因果建模框架的一些局限性,如因果贝叶斯网络和结构因果模型。
2021-01-31 cs.AI stat.ML
Learning and interpreting asymmetry-labeled DAGs: a case study on COVID-19 fear
IE University(IE大学);Universitat de València(瓦伦西亚大学)
贝叶斯网络被广泛用于学习和推理离散变量的依赖结构。然而,它们只能形式化地编码对称条件独立性,这在实践中往往过于严格而无法保持。最近提出了一种基于贝叶斯标记的DAG,它通过放松独立性的对称假设来扩展贝叶斯网络的类,并表示感兴趣的变量之间存在的依赖类型。在这里,我们介绍了新的结构学习算法这一类的模型,同时是有效的,允许一个简单的解释底层的依赖结构。一个全面的计算研究突出了算法的效率。一个真实世界的数据应用程序使用了在意大利收集的COVID-19恐惧量表的数据,展示了它们在实践中的应用。
2023-01-02 cs.AI stat.ML
Circles are like Ellipses, or Ellipses are like Circles? Measuring the Degree of Asymmetry of Static and Contextual Embeddings and the Implications to Representation Learning
IBM
人类对词相似度的判断已经成为评价词嵌入质量的一种流行方法。但它不能测量几何性质,如不对称性。例如,说“椭圆像圆”比“圆像椭圆”更自然。这种不对称性已经从一个名为单词唤起实验的精神分析测试中观察到,其中一个单词被用来回忆另一个单词。虽然有用,但这些实验数据在测量嵌入质量方面的研究严重不足。在本文中,我们使用三个著名的唤起数据集来深入了解嵌入的不对称编码。我们研究静态嵌入和上下文嵌入,如BERT。由于嵌入的动态特性,通常很难评估BERT的不对称性。因此,我们探测BERT的条件概率(作为一个语言模型)使用大量的维基百科上下文推导出一个理论上合理的贝叶斯不对称分数。结果表明,上下文嵌入在相似性判断上比静态嵌入表现出随机性,而在不对称性判断上表现良好,这与其在文本分类等“外部评价”上的强大表现相一致。不对称判断和贝叶斯方法提供了一个新的视角来评估上下文嵌入的内在评价,它的相似性评价的比较结束了我们的工作与表示学习的现状和未来的讨论。
2020-12-03 cs.AI cs.CL
Dynamic Bayesian Multinets
University of Washington(华盛顿大学)
在这项工作中,引入动态贝叶斯multitudes马尔可夫链状态在时间t确定条件独立的随机变量之间的模式躺在一个本地时间窗口周围的t。它示出了如何信息理论的标准函数可以用来诱导稀疏,歧视,类条件网络结构,产生最佳近似的类后验概率,因此是有用的分类任务。使用一个新的结构学习启发式,由此产生的模型进行测试的中等词汇孤立词语音识别任务。它表明,这些歧视性结构的动态贝叶斯multitons,在最大似然设置使用EM训练时,可以优于HALTH和其他动态贝叶斯网络具有类似数量的参数。
2013-01-16 cs.AI cs.LG stat.ML
Large-Sample Learning of Bayesian Networks is NP-Hard
Microsoft Research(微软研究院)
在本文中,我们提供了新的复杂性结果的算法,从数据中学习离散变量贝叶斯网络。只要学习算法使用有利于能够准确表示生成分布的最简单模型的评分标准,我们的结果就适用。因此,只要学习算法使用一致的评分标准并应用于足够大的数据集,我们的结果就成立。我们发现,即使我们得到一个独立的预言机,推理预言机,和/或信息预言机,识别高分结构是困难的。我们的否定结果也适用于离散变量贝叶斯网络的学习,其中每个节点最多有k个父母,对于所有k > 3。
2012-10-19 cs.AI cs.LG stat.ML
Towards Optimal Learning of Chain Graphs
Linköping University(林雪平大学)
本文将Meek猜想(Meek 1997)从有向无圈图推广到链图,并证明了推广的猜想成立。具体地说,我们证明了:如果一个链图H是由另一个链图G导出的独立模型的独立映射,那么(i)G可以通过一个有向和无向边添加以及可行的分裂和合并序列转化为H,并且(ii)在序列H中的每个操作之后,仍然是由G导出的独立模型的独立映射.我们的结果对于从数据中学习链图具有与Meek猜想的证明(Chickering 2002)对于从数据中学习贝叶斯网络具有相同的重要后果:它使得在温和的假设下开发高效且渐近正确的学习算法成为可能。
2011-09-25 cs.AI math.ST stat.ML
A Bayesian Multiresolution Independence Test for Continuous Variables
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种计算两个或两个以上连续变量条件独立的后验概率的方法。我们的方法的动机是观察到,连续数据的外观在各种分辨率下变化很大,在所涉及的变量之间产生非常不同的独立估计。因此,如果不在几个精心选择的分辨率上采集数据,就很难确定独立性。在我们的论文中,我们使用独立后验概率的精确计算来实现这一点,计算分析给出了一个解决方案。在检验分辨率时,我们假设离散化表参数为多项分布,先验为Dirichlet,后验采用贝叶斯积分计算。跨分辨率,我们使用一个搜索过程来近似概率的贝叶斯积分指数可能的直方图。我们的方法以一种简单的方式推广到任意数量的变量。该测试适用于贝叶斯网络学习算法,该算法使用独立性测试来推断网络结构,在包含连续,有序和分类变量的任何混合的域中。
2013-01-10 cs.AI cs.LG
Independence and Bayesian Updating Methods
Naval Research Laboratory(海军研究实验室)
Duda,Hart和Nilsson提出了一种基于规则的推理系统的方法,用于根据多项新证据更新假设的概率。Pednault,Zucker和Muresan声称,在Duda等人提出的独立假设排除更新的条件下,即防止证据改变假设的概率。Gavanour驳斥了Pednault等人的观点。的索赔与一个反例的一个相当特殊的形式(一项证据是不相容的所有,但其中一个假设);他提出,但留下开放,问题是否他们的结果将是真实的与一个额外的假设,以排除这种特殊情况。我们表明,他们的结果并不成立,甚至与增加的假设,但它仍然可以在很大程度上挽救。也就是说,在Pednault等人假设的条件下,至多一个证据项可以改变任何给定假设的概率;因此,尽管更新是可能的,但是排除了对任何假设的多次更新。
2013-03-27 cs.AI
On Discovery of Local Independence over Continuous Variables via Neural Contextual Decomposition
AI Institute, Seoul National University(首尔国立大学AI研究所);Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对连续变量上难以检验上下文特定独立性的问题,本文提出 CSSI 概念与神经上下文分解 NCD,通过学习联合结果空间划分发现局部因果独立性。
2024-05-12 cs.AI cs.LG stat.ML
Exploiting Agent and Type Independence in Collaborative Graphical Bayesian Games
Massachusetts Institute of Technology(麻省理工学院);University of Amsterdam(阿姆斯特丹大学);Instituto Superior Técnico(高等技术学院)
有效的协同决策是多智能体系统面临的一个重要挑战。当每个智能体只有关于其环境状态的不完全信息时,寻找最佳联合行动尤其具有挑战性。这样的问题可以建模为协作贝叶斯游戏,其中每个代理接收其类型形式的私人信息。然而,代表和解决这样的游戏需要空间和计算时间指数的代理人的数量。本文介绍了协作图贝叶斯博弈(CGBG),它通过将全局支付函数分解为仅依赖于少数代理的局部支付函数之和来促进更有效的协作决策。我们提出了一个框架的有效解决方案的CGBG的基础上的洞察力,他们拥有两种不同类型的独立性,我们称之为代理独立性和类型独立性。特别是,我们提出了一个因子图表示,捕捉两种形式的独立性,从而实现有效的解决方案。此外,我们展示了这种表示如何在顺序任务中提供杠杆作用,通过使用它来构建一种新的方法,分散的部分可观察马尔可夫决策过程。在随机和基准任务的实验结果表明,我们的方法相比,现有的几种替代品的可扩展性提高。
2014-04-25 cs.AI cs.GT
Exploiting Structure in Cooperative Bayesian Games
Maastricht University(马斯特里赫特大学);University of Amsterdam(阿姆斯特丹大学);Delft University of Technology(代尔夫特理工大学)
合作贝叶斯博弈(BGs)可以在不完全信息下为代理团队建模决策问题,但需要的空间和计算时间是代理数量的指数。虽然代理的独立性已被用来缓解这些问题,在完美的信息设置,我们提出了一种新的方法,BG的基础上观察,BG还具有不同类型的结构,我们称之为类型的独立性。我们提出了一个因子图表示,捕获两种形式的独立性,并提出了一个理论分析表明,非串行动态规划不能有效地利用类型的独立性,而最大和可以。实验结果表明,我们的方法可以解决前所未有的规模合作贝叶斯游戏。
2012-10-16 cs.AI cs.GT
From Static Personal Values to Contextualized Personalization: Bayesian Personalized Value Alignment for LLMs
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Microsoft Research Asia(微软亚洲研究院)
针对大语言模型个性化价值对齐忽视情境差异的问题,提出贝叶斯推理时方法BaCVA,融合静态个人价值观与情境显著性,实现更准确、自适应的对齐并提升数据效率。
2026-09-25 cs.AI
Factored Contextual Policy Search with Bayesian Optimization
Bosch Center for AI(博世人工智能中心);Idiap Research Institute(Idiap研究院);National University of Singapore(新加坡国立大学);University of Cambridge(剑桥大学)
稀缺的数据是将机器人学习扩展到真正复杂任务的主要挑战,因为我们需要在不同的任务上下文上推广本地学习的策略。上下文策略搜索通过在参数上下文空间上显式地调节策略来提供数据有效的学习和泛化。在本文中,我们进一步结构化的上下文策略表示。我们建议将上下文分为两个部分:描述任务目标的目标上下文,例如投掷球的目标位置;以及表征环境的环境上下文,例如球的初始位置或质量。我们的主要观察是,经验可以直接概括的目标上下文。我们表明,这可以很容易地利用上下文策略搜索算法。特别是,我们应用因式分解的贝叶斯优化方法,在基于采样和主动学习设置的上下文策略搜索。我们的仿真结果表明,更快的学习和更好的泛化在各种机器人领域。请参阅我们的补充视频:https://youtu.be/MNTbBAOufDY。
2019-04-26 cs.AI cs.LG stat.ML
Contextual Linear Bandits under Noisy Features: Towards Bayesian Oracles
KAIST(韩国科学技术院);Centrale-Supelec(中央高等电力学院)
针对带噪声与缺失的特征下的上下文线性老虎机问题,分析贝叶斯预言机的偏差特性,提出逼近贝叶斯预言机的算法,在多臂场景下达到$\tilde{O}(d\sqrt{T})$遗憾界,并通过合成与真实数据集验证。
2024-10-10 cs.AI cs.LG stat.ML
Factored Contextual Policy Search with Bayesian Optimization
National University of Singapore(新加坡国立大学)
稀缺的数据是将机器人学习扩展到真正复杂任务的主要挑战,因为我们需要在不同的“上下文”上推广本地学习的策略。上下文策略搜索(CPS)的贝叶斯优化方法提供了在上下文空间上推广的数据有效的策略学习。我们建议通过将通常考虑的上下文分解为两个组件来提高数据效率:目标类型上下文,其对应于所学习行为的期望结果,例如投掷球的目标位置;以及环境类型上下文,其对应于环境的某些状态,例如初始球位置或风速。我们的主要观察是,经验可以直接概括的目标类型的上下文。在此基础上,我们介绍了被动和主动学习设置与贝叶斯优化因子上下文策略搜索。初步结果表明,更快的政策推广模拟玩具问题。完整的论文扩展可在arXiv:1904.11761获得
2019-05-28 cs.AI cs.LG cs.RO
CO-BED: Information-Theoretic Contextual Optimization via Bayesian Experimental Design
University of Oxford(牛津大学);Microsoft Research(微软研究院)
本研究从贝叶斯实验设计视角形式化上下文优化问题,提出通用模型无关框架CO-BED,用黑盒变分法结合连续松弛方案求解,在多实验中表现出媲美定制方案的竞争力。
2023-07-13 cs.AI cs.LG stat.CO
Belief Updating by Enumerating High-Probability Independence-Based Assignments
Air Force Institute of Technology(空军理工学院);Ben Gurion University of the Negev(内盖夫本-古里安大学)
基于独立性(IB)的贝叶斯信念网络分配最初被提出作为溯因解释。IB分配分配更少的变量在溯因解释比计划分配值的所有证据支持的变量。我们使用IB分配来近似贝叶斯信念网络中的边缘概率。最近的工作在贝叶斯网络的信念更新试图近似后验概率找到一个小数目的最高概率完成(或可能证据支持)的分配。在某些假设下,这些赋值的并集中的概率质量足以获得良好的近似。这种方法对于高度连接的网络特别有用,其中最大团大小或割集大小使标准算法难以处理。由于IB作业包含较少的分配变量,因此每个作业中的概率质量大于相应的完整作业。因此,更少的IB赋值就足够了,并且可以更有效地获得良好的近似。IB分配可以用于有效地近似后验节点概率,即使在不遵守先前研究中使用的相当严格的偏度假设的情况下。提出了两种寻找高概率IB分配的算法:一种是最佳优先启发式搜索算法,另一种是专用整数线性规划算法。实验结果表明,该方法对高度连通的信度网络是可行的。
2013-02-27 cs.AI
Efficient Contextual Preferential Bayesian Optimization with Historical Examples
Continental Automotive Components (India) Private Ltd.(印度大陆汽车部件有限公司);Continental Automotive Technologies GmbH, Germany(德国大陆汽车技术有限公司);Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-罗quentourt研究所);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒研究中心)
针对多目标优化中隐式偏好难形式化且专家输入成本高的问题,提出基于历史示例和完整贝叶斯后验的离线可解释效用学习方法,在四个领域优于标准高斯过程和BOPE。
2025-09-30 cs.AI cs.LG
Efficient Real-world Testing of Causal Decision Making via Bayesian Experimental Design for Contextual Optimisation
University of Oxford(牛津大学);Microsoft Research Cambridge(微软剑桥研究院)
对使用因果机器学习模型做出的决策进行真实世界的测试是其成功应用的必要先决条件。我们专注于评估和改进情境治疗分配决策:这些是应用于客户的个性化治疗,每个客户都有自己的情境信息,目的是最大化奖励。在本文中,我们介绍了一个模型无关的框架,收集数据,评估和改善上下文决策,通过贝叶斯试验设计。具体来说,我们的方法是用于数据效率的评价过去的治疗分配的遗憾。与A/B测试等方法不同,我们的方法避免了分配已知高度次优的治疗方法,同时进行一些探索以收集相关信息。我们通过引入基于信息的设计目标来实现这一目标,并对该目标进行端到端优化。我们的方法适用于离散和连续的治疗。比较我们的信息理论的方法,在几个模拟研究的基线证明了我们所提出的方法的优越性能。
2022-07-12 cs.AI cs.LG stat.CO
Optimal partition of feature using Bayesian classifier
针对朴素贝叶斯分类器中特征条件依赖易引发决策偏差、条件独立难实现的问题,提出共单调独立分类器CIBer实现特征最优划分,在多数据集上取得比随机森林、XGBoost更低错误率及相当或更高准确率。
2024-12-08 cs.AI cs.LG
Beyond Feature Fusion: Contextual Bayesian PEFT for Multimodal Uncertainty Estimation
Dalhousie University(达尔豪斯大学)
本文提出CoCo-LoRA,一种结合音频上下文的多模态不确定性感知参数高效微调方法,通过在低秩空间中条件化上下文变分后验,实现对音频等外部因素的不确定性建模,提升语音应用的可靠性。
2026-10-27 cs.AI cs.LG