Partial Optimality by Pruning for MAP-Inference with General Graphical Models
我们考虑无向图模型的能量最小化问题，也被称为马尔可夫随机场的MAP推理问题，这是NP-困难的。我们提出了一种新的多项式时间算法，以获得其最优非松弛积分解的一部分。我们的算法是初始化的变量采取积分值的凸松弛的MAP推理问题的解决方案，并迭代修剪那些，不满足我们的部分最优性的标准。我们表明，我们的修剪策略在一定意义上是理论上最优的。从经验上讲，我们的方法在持续标记变量的数量方面优于以前的方法。该方法是非常普遍的，因为它适用于模型与任意阶的任意因素，并可以采用任何求解器所考虑的放松的问题。我们的方法的运行时间是由凸松弛求解器的MAP推理问题的运行时间。
2015-08-18 cs.AI
Inference in Probabilistic Graphical Models by Graph Neural Networks
Hanyang University（汉阳大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；University of Toronto（多伦多大学）；Uber ATG Toronto（优步先进技术集团多伦多分部）；Vector Institute（向量研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
统计推断和准确决策的基本计算是计算任务相关变量的边际概率或最可能状态。概率图模型可以有效地表示这种复杂数据的结构，但执行这些推理通常是困难的。消息传递算法（如置信传播）是在利用图结构的同时在相关变量之间传播证据的自然方式，但当条件依赖图包含循环时，这些算法可能会遇到困难。在这里，我们使用图神经网络（GNNs）来学习解决这些推理任务的消息传递算法。我们首先证明了GNN的架构与推理任务非常匹配。然后，我们通过在一组图形模型上训练GNN来证明这种推理方法的有效性，并表明它们在循环图上的表现大大优于信念传播。我们的消息传递算法从训练集推广到更大的图和具有不同结构的图。
2019-06-27 cs.AI cs.LG stat.ML
Probabilistic Circuits for Variational Inference in Discrete Graphical Models
Stanford University（斯坦福大学）
离散图模型的变分方法的推理是困难的，因为无法重新参数化的证据下限（ELBO）的梯度。已经提出了许多基于采样的方法来估计这些梯度，但它们遭受高偏差或方差。在本文中，我们提出了一种新的方法，利用概率电路模型的易处理性，如和积网络（SPN），精确计算ELBO梯度（无需采样）的某一类密度。特别是，我们表明，选择性SPN是适合作为一个表达变分分布，并证明，当目标模型的对数密度是一个多项式的相应的ELBO可以计算解析。为了扩展到具有数千个变量的图形模型，我们开发了一种高效且有效的选择性SPN构造，其大小为$O(kn)$，其中$n$是变量的数量，$k$是可调超参数。我们展示了我们的方法在三种类型的图形模型-伊辛模型，潜在的Dirichlet分配，和因子图从UAI推理比赛。选择性SPN给出了比平均场和结构化平均场更好的下界，并且与不提供下界的近似（例如循环置信传播和树重加权置信传播）竞争。我们的研究结果表明，概率电路是有前途的工具，变分推理离散图形模型，因为它们结合了易处理性和表达性。
2020-10-22 cs.AI cs.LG
Generalization of graph network inferences in higher-order graphical models
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）；Center for Neuroscience and Artificial Intelligence（神经科学与人工智能中心）
针对高阶图模型中传统置信传播算法推理效果受限的问题，提出循环因子图神经网络RF-GNN，实现多变量交互图模型的快速近似推理，具备分布外泛化能力，在高噪声场景下性能优于BP及其他GNN基线。
2023-05-03 cs.AI cs.LG
Adaptive Inference on General Graphical Models
Toyota Tech. Inst.（丰田技术研究所）；U.C. Irvine（加州大学欧文分校）；Univ. of Massachusetts（马萨诸塞大学）；Univ. of Chicago（芝加哥大学）
许多算法和应用程序涉及重复解决同一推理问题的变体;例如，我们可能希望向模型引入新的证据或对条件依赖进行更新。自适应推理的目标是利用模型中保留的内容，并比从头开始更快地执行推理。在本文中，我们描述了自适应推理的一般图形，支持边际计算和更新的条件概率和依赖关系在对数时间的技术。我们给出了我们的算法的实现的实验结果，并证明其潜在的性能优势，在蛋白质结构的研究。
2012-06-13 cs.AI cs.DS
FSPN: A New Class of Probabilistic Graphical Model
Alibaba Group（阿里巴巴集团）
我们引入了分解和分裂产品网络（FSPN），一类新的概率图模型（PGMs）。FSPN的设计，以克服现有的PGMs在估计精度和推理效率方面的缺点。具体而言，贝叶斯网络（BN）的推理速度低，树结构和产品网络（SPN）的性能显着降低存在高度相关的变量。FSPN吸收了两者的优点，根据变量的依赖程度自适应地对变量的联合分布进行建模，从而可以同时达到估计精度高和推理速度快两个理想的目标。我们提出了有效的概率推理和结构学习算法的FSPN，随着理论分析和广泛的评估证据。我们在合成数据集和基准数据集上的实验结果表明，FSPN优于其他PGM。
2020-11-20 cs.AI
Revisiting Outage for Edge Inference Systems
Department of Electrical and Computer Engineering, The University of Hong Kong（香港大学电子与计算机工程系）
针对边缘推理系统的端到端可靠性，提出推理中断概率框架，量化推理精度低于阈值的概率，并优化通信开销与推理可靠性的权衡。
2026-06-15 cs.AI cs.LG cs.NI
LabelBank: Revisiting Global Perspectives for Semantic Segmentation
University of Southern California（南加州大学）；Simon Fraser University（西蒙菲莎大学）；Oracle Labs（甲骨文实验室）
语义分割需要按对象类别对图像像素进行详细标记。从局部图像块导出的信息对于描述单个对象的详细形状是必要的。然而，这些信息是模糊的，并且可能导致噪声标签。图像内容的全局推断可以替代地捕获存在的一般语义概念。我们主张图像概念的整体推理为详细的像素标记提供有价值的信息。我们提出了一个通用的框架，以利用整体信息的形式的LabelBank像素级分割。我们展示了我们的框架在各种环境中提高语义分割性能的能力。我们学习从视觉线索，属性和/或文本描述中提取整体LabelBank的模型。我们展示了在标准数据集上的语义分割准确性的改进，这些数据集跨越了一系列最先进的分割架构和整体推理方法。
2017-03-29 cs.AI cs.CV cs.LG
Linear-Time Primitives for Algorithm Development in Graphical Causal Inference
Institute for Theoretical Computer Science（理论计算机科学研究所）；Department of Mathematical Sciences（数学科学系）；School of Mathematics and Statistics（数学与统计学学院）
本文提出CIfly框架，将因果推理任务转化为可达性操作，以线性时间运行，替代道德化和潜在投影，提供高效开源实现，并支持工具变量等新算法开发。
2025-06-18 cs.AI cs.DS cs.LG
Automorphism Groups of Graphical Models and Lifted Variational Inference
Artificial Intelligence Center（人工智能中心）；SRI International（SRI国际公司）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
利用群作用理论，我们首先引入了指数族或图模型的自同构群的概念，从而形式化了概率模型的对称性的一般概念。这个自同构群为一般指数族中的提升推理提供了一个精确的数学框架。它的群作用将随机变量和特征函数的集合划分为具有相同边缘和期望的等价类（称为轨道）。然后，推理问题被有效地简化为计算每个类的边际或期望，从而避免了处理每个单独变量或特征的需要。我们证明了这个一般框架的有用性，在提升两类变分近似MAP推理：局部LP松弛和局部LP松弛与循环约束;后者产生的第一个提升推理，操作上的约束比局部约束更紧。初步的实验结果表明，提升MAP推理与循环约束实现了最先进的性能，获得更好的目标函数值比局部近似，同时保持相对有效。
2012-07-19 cs.AI cs.LG math.CO
Revisiting Facial Key Point Detection: An Efficient Approach Using Deep Neural Networks
Upgrad Education Pvt. Ltd.（Upgrad教育私人有限公司）；Salesforce（赛富时）；Liverpool John Moore University（利物浦约翰摩尔大学）
人脸标志点检测是深度学习的一个广泛研究领域，因为它在许多领域都有广泛的应用。这些关键点是面部的特征点，例如眼睛中心，眼睛的内外角，嘴巴中心和鼻尖，可以解释人类的情绪和意图。我们工作的重点是评估迁移学习模型，如MobileNetV2和NasNetMobile，包括自定义CNN架构。研究的目的是在模型大小、参数和推理时间方面开发高效的深度学习模型，并研究增强插补和微调对这些模型的影响。结果发现，虽然增强技术产生较低的RMSE分数比插补技术，他们不影响推理时间。MobileNetV2架构产生了最低的RMSE和推理时间。此外，我们的研究结果表明，手动优化的CNN架构与Auto Keras调谐架构的性能相似。然而，手动优化的架构产生了更好的推理时间和训练曲线。
2022-05-14 cs.AI cs.CV cs.LG
Learning to Guide Local Search for MPE Inference in Probabilistic Graphical Models
Department of Computer Science（计算机科学系）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；New Jersey Institute of Technology（新泽西理工学院）
本文提出神经元消融框架，通过学习引导局部搜索以提升概率图模型中MPE推断的效率与性能。
2026-02-01 cs.AI cs.LG
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
PGMax是一个开源Python包，用于（a）轻松地将离散概率图形模型（PGM）指定为因子图;以及（b）在JAX中自动运行高效和可扩展的循环置信传播（LBP）。PGMax支持具有易处理因子的一般因子图，并利用GPU等现代加速器进行推理。与现有的替代方案相比，PGMax获得了更高质量的推理结果，推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互，开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Exact and approximate inference in graphical models: variable elimination and beyond
INRA（法国国家农业研究院）；INRA UR 875 MIAT（法国国家农业研究院UR 875 MIAT研究所）；INRA UMR 1202（法国国家农业研究院UMR 1202研究所）；AgroParisTech（巴黎高等农业学院）；UM R518 MIA（UM R518 MIA研究所）；Institute of Fundamental Sciences, Massey University（梅西大学基础科学研究所）
概率图模型提供了一个强大的框架来解释变量之间的依赖结构，它被表示为一个图。然而，变量之间的依赖性可能使推理任务变得棘手。在本文中，我们审查技术利用图结构的精确推理，借用优化和计算机科学。它们建立在变量消除的原则上，其复杂性由变量消除的顺序以复杂的方式决定。图的所谓树宽表征了这种算法的复杂性：低树宽的图可以被有效地处理。因此，我们说明的第一个信息是，对于图模型中的推理，变量的数量不是限制因素，在转向近似方法之前，值得检查树宽。我们展示了如何利用算法提供的树宽的上限，以获得一个“好”的消除顺序，使执行精确的推理。第二个信息是，当树宽太大时，与变量消除原理相关的近似推理算法，如循环置信传播和变分方法，可以得到准确的结果，同时比蒙特卡洛方法耗时少得多。我们说明了在遗传连锁分析和计算机视觉的推理问题的基准，以及在耦合隐马尔可夫模型的隐变量恢复在这篇文章中审查的技术。
2018-03-12 cs.AI cs.LG stat.ML
Revisiting Causality Inference in Memory-less Transition Networks
Yale University School of Medicine（耶鲁大学医学院）；Yale University（耶鲁大学）；The University of Adelaide（阿德莱德大学）；Pegahsoft Co（Pegahsoft 公司）
有几种方法可以从大量的观测数据中推断因果网络。然而，几乎所有现有的方法都需要相当长的时间序列数据来捕获因果关系。相比之下，无记忆转换网络或马尔可夫链数据，它是指一步过渡到和从一个事件，尚未探索因果关系的推断，即使这样的数据是广泛可用的。我们发现，因果网络可以推断出的四个独特的分布区周围的每个事件的特征。我们称之为过渡的组成，并表明原因，效果和随机事件在其组成中表现出不同的行为。我们应用机器学习模型来学习这些不同的行为并推断因果关系。我们将这种新方法命名为使用变迁组合的因果推断（CICT）。为了评估CICT，我们使用了一个行政住院医疗数据集来建立一个不同诊断之间的患者转换网络。我们表明，CICT是高度准确的推断一对事件之间的过渡是否是因果关系或随机的，并在确定因果关系的双向关联的方向表现良好。
2016-12-21 cs.AI nlin.CD physics.data-an
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology（格拉茨工业大学）
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法，据此提出能够自动适应给定模型的自由能近似，并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
Cloud Is Closer Than It Appears: Revisiting the Tradeoffs of Distributed Real-Time Inference
University of California Los Angeles（加州大学洛杉矶分校）；University of California Riverside（加州大学河滨分校）
本文重新审视云推理在实时控制任务中的适用性，通过建立分析模型和仿真实验，证明云平台在高吞吐量资源下可有效缓解网络和排队延迟，从而在安全约束下优于本地推理。
2026-02-17 cs.AI cs.DC cs.LG
Revisiting the (Sub)Optimality of Best-of-N for Inference-Time Alignment
Columbia University（哥伦比亚大学）
本文重新审视了最佳-N在推理时间对齐中的次优性，证明在特定条件下BoN在胜率上最优，并提出消除奖励黑客攻击的改进方法。
2026-03-05 cs.AI cs.LG
Variational Flow Graphical Model
Baidu Research（百度研究院）
本文介绍了一种新的方法来嵌入基于流的模型与层次结构。该框架被命名为变流图形（VFG）模型。VFG通过变分推断集成基于流的函数，经由消息传递方案来学习高维数据的表示。通过利用神经网络的表达能力，VFG使用较低的维度产生数据的表示，从而克服了许多基于流的模型的缺点，通常需要涉及许多琐碎变量的高维潜在空间。在VFG模型中引入聚集节点，通过消息传递机制集成前向-后向层次信息。最大化数据可能性的证据下限（ELBO）对齐每个聚合节点中的前向和后向消息，实现一致性节点状态。已经开发了算法来通过关于ELBO目标的梯度更新来学习模型参数。聚合节点的一致性使VFG能够适用于图形结构的易处理推理。除了表示学习和数值推理之外，VFG为具有图形潜在结构的数据集的分布建模提供了一种新方法。此外，理论研究表明，VFG是通用的逼近器，利用隐式可逆的流为基础的结构。VFG具有灵活的图形结构和卓越的超额功率，可以潜在地用于改进概率推理。在实验中，VFG在多个数据集上实现了改进的证据下限（ELBO）和似然值。
2022-07-06 cs.AI cs.LG stat.ML
Tighter Linear Program Relaxations for High Order Graphical Models
Hebrew University（希伯来大学）；Microsoft Research（微软研究院）
高阶势图形模型近年来受到了广泛的关注。虽然在这些模型中有各种各样的推理方法，但几乎所有这些方法都相当于求解HOP和单个变量之间具有一元一致性约束的线性规划（LP）松弛。在许多情况下，由此产生的松弛是松散的，在这些情况下，推理的结果可能很差。因此，期望寻找在这些模型中执行推断的更准确的方式。在这项工作中，我们研究了LP松弛，结果从强制执行额外的一致性约束之间的HOP和模型的其余部分。我们解决的强度所产生的松弛相比，在标准方法中出现的松弛的理论问题，我们开发实用和高效的消息传递算法优化的LP。从经验上讲，我们表明，LP与额外的一致性约束导致更准确的推理，一些具有挑战性的问题，包括低阶和高阶项的组合。
2013-09-26 cs.AI
Gaussian Approximation of Collective Graphical Models
Oregon State University（俄勒冈州立大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Mount Holyoke College（曼荷莲学院）
集体图形模型（CGM）对独立且同分布的个体的群体进行建模，当只有集体统计（即，个体的数量）。CGMs中的精确推理是棘手的，并且先前的工作已经探索了用于学习和推理的马尔可夫链蒙特卡罗（MCMC）和MAP近似。本文研究了CGM的高斯近似。随着人口的增长大，我们表明，CGM分布收敛到一个多元高斯分布（GCGM），保持原始CGM的条件独立属性。如果观测值是CGM的精确边缘或被高斯噪声破坏的边缘，则可以以封闭形式有效地计算GCGM近似中的推断。如果观测遵循不同的噪声模型（例如，Poisson），则期望传播提供了高效且准确的近似推理。在一个模拟的鸟类迁徙问题上，将GCGM推理的精度和速度与MCMC和MAP方法进行了比较。GCGM匹配或超过MAP方法的准确性，同时显著更快。
2014-05-20 cs.AI cs.LG stat.ML
Block-Value Symmetries in Probabilistic Graphical Models
Indian Institute of Technology Delhi（德里印度理工学院）
概率图模型中提升推理的一种流行方法是首先将对称状态合并到单个集群（轨道）中，然后通过轨道MCMC的变体将其用于下游推理[Niepert，2012]。这些轨道用变量上的置换和变量-值（VV）对来表示，但它们可能在一个域中错过几个状态对称。我们定义了块-值（BV）对上的置换的概念，其中块是一组变量。BV严格推广VV对称性，并且可以计算更多的对称性以增加块大小。为了在提升推理中操作BV排列的使用，我们描述了1）给定变量的块划分来计算BV排列的算法，2）BV-MCMC，可以从BV轨道采样的轨道MCMC的扩展，以及3）建议良好块划分的启发式。我们的实验表明，BV-MCMC可以更快地混合相比，香草MCMC和轨道MCMC。
2018-07-08 cs.AI
Lifted Graphical Models: A Survey
University of Maryland College Park（马里兰大学帕克分校）
本文介绍了一个调查工作的提升图形模型。我们回顾了一个一般形式的解除图形模型，一个参数因子图，并显示了一些现有的统计关系表示映射到这种形式主义。我们讨论的推理算法，包括提升推理算法，有效地计算概率查询的答案。我们还回顾了从数据中学习提升图形模型的工作。我们相信，对统计关系模型的需求（无论它是用这个名字还是另一个名字）将在未来几十年内增长，因为我们被结构化和非结构化的数据所淹没，从文本中以嘈杂的方式提取实体和关系，并且需要有效地推理这些数据。我们希望，来自许多不同研究小组的想法的综合将为这个不断扩大的领域的新研究人员提供一个可访问的起点。
2011-08-26 cs.AI cs.LG
A Statistical and Multi-Perspective Revisiting of the Membership Inference Attack in Large Language Models
The University of Tokyo（东京大学）
本文针对大型语言模型中MIA性能不一致问题，通过数千次实验从多视角统计再审视MIA方法，发现其性能受模型规模和领域影响且多数不优于基线，揭示了阈值决策、文本特征、嵌入与解码动态对可区分性的关键作用。
2024-12-18 cs.AI cs.CL
Non-Count Symmetries in Boolean & Multi-Valued Prob. Graphical Models
I.I.T Delhi（印度理工学院德里分校）；Carnegie Mellon University（卡内基梅隆大学）
提升推理算法通常利用概率图模型（PGM）中的对称性进行有效推理。然而，现有的布尔值域算法只能识别那些对称的状态对，其中1和0的数量完全匹配（计数对称性）。此外，多值域中的提升推理算法也只计算计数对称的多值扩展。这些算法在一个域中遗漏了许多对称性。在本文中，我们提出了第一个算法来计算非计数对称布尔值和多值域。我们的方法还可以找到具有不同域基数的多值变量之间的对称性。算法中的关键洞察力在于，它们将对称计算的单位从变量改变为变量值（VV）对。我们的实验发现，利用这些对称性MCMC可以获得大量的计算增益超过现有的算法。
2017-07-27 cs.AI
Revisiting Training-Inference Trigger Intensity in Backdoor Attacks
Xi’an Jiaotong University（西安交通大学）
本文提出TITIM工作流，系统探索后门攻击中训练-推理触发器强度不匹配的影响，发现混合强度训练触发器可提升攻击成功率，而特定不匹配可增强攻击隐蔽性以绕过防御。
2025-03-15 cs.AI cs.CR
Revisiting In-context Learning Inference Circuit in Large Language Models
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RIKEN（理化学研究所）
本文提出将 ICL 推理分解为输入编码、语义合并、特征检索与复制的综合回路，统一解释多种现象，并通过消融验证其主导作用。
2025-02-20 cs.AI cs.CL cs.LG
Realising Synthetic Active Inference Agents, Part I: Epistemic Objectives and Graphical Specification Language
Eindhoven University of Technology（埃因霍温理工大学）；VERSES AI Research Lab（VERSES人工智能研究实验室）；GN Hearing（GN听力公司）
本文提出一种在自由因子图上实现合成主动推理的方法，开发了约束型Forney式因子图（CFFG）表示法以完整描述优化问题，并推导出直接策略推断算法，在T型迷宫任务上验证了其信息寻求行为。
2023-10-16 cs.AI cs.LG
Approaching Adaptation Guided Retrieval in Case-Based Reasoning through Inference in Undirected Graphical Models
Università del Piemonte Orientale（东皮埃蒙特大学）
在基于案例的推理中，当相似性假设不成立时，检索一组结构上与查询相似的案例并不能保证得到可重用或可修改的解决方案。知识的适应性的解决方案，必须加以利用，以定义一种方法，适应引导检索。我们提出了一种新的方法来解决这个问题，知识的适应性的解决方案被捕获内的度量马尔可夫随机场（MRF）。MRF的节点表示情况，边连接解空间中解接近的节点。节点的状态表示相对于潜在查询的不同适应水平。基于度量的潜力强制连接的节点共享相同的状态，因为具有类似解决方案的情况下应该具有相同的适应性水平相对于查询。其主要目标是扩大一组潜在的适应性的情况下，检索不显着牺牲检索的精度和准确性。我们将报告一些关于检索架构的实验，其中一个简单的kNN检索（对问题的描述）之后，由MRF推理的基础上进一步检索步骤。
2019-05-29 cs.AI
Graph Neural Networks Intersect Probabilistic Graphical Models: A Survey
McGill University（麦吉尔大学）；Mila（米拉）；Shandong Agricultural University（山东农业大学）；BAAI（北京智源人工智能研究院）
图是表示关系数据的强大数据结构，并且广泛用于描述复杂的现实世界数据结构。概率图形模型（PGMs）在过去几年中已经得到了很好的发展，可以在变量分布的紧凑图形表示中对现实世界的场景进行数学建模。图神经网络是近年来发展起来的一种新的推理方法，由于其在解决图结构数据的推理和学习问题上的有效性和灵活性而受到越来越多的关注。这两种强大的方法在从观察中捕获关系以及如何进行消息传递方面具有不同的优势，并且它们可以在各种任务中相互受益。在这项调查中，我们广泛地研究了GNN和PGM的交叉点。具体来说，我们首先讨论了GNN如何从学习PGM中的结构化表示中受益，通过PGM生成可解释的预测，以及PGM如何推断对象关系。然后，我们讨论如何在PGM中实现GNN，以实现更有效的推理和结构学习。最后，我们总结了最近研究中使用的基准数据集，并讨论了有前途的未来方向。
2023-01-30 cs.AI cs.LG
DoWhy-GCM: An extension of DoWhy for causal inference in graphical causal models
Amazon Web Services（亚马逊网络服务）
本文提出 DoWhy-GCM，通过图因果模型扩展 DoWhy 库，支持根本原因识别、因果归因和结构诊断等多种因果查询，并只需几行代码即可完成。
2024-06-06 cs.AI stat.ME stat.ML
Universal Marginalizer for Amortised Inference and Embedding of Generative Models
Babylon Health（巴比伦健康）
概率图模型是强大的工具，它使我们能够形式化我们对世界的知识，并对其固有的不确定性进行推理。存在用于在概率图形模型中执行推断的相当数量的方法;然而，由于显著的时间负担和/或存储要求，它们可能在计算上是昂贵的;或者它们在应用于大规模图形模型时缺乏收敛性和准确性的理论保证。为此，我们提出了通用边缘化器重要性采样器（UM-IS）-一种混合推理方案，结合了在模型样本上训练的深度神经网络的灵活性，并继承了重要性采样的渐近保证。我们展示了如何结合从图形模型中提取的样本与适当的掩蔽函数，使我们能够训练单个神经网络来近似任何相应的条件边际分布，从而摊销推理成本。我们还表明，图嵌入可以应用于任务，如：聚类，分类和解释节点之间的关系。最后，我们在一个大型图（>1000个节点）上对该方法进行了基准测试，结果表明，UM-IS在计算效率方面大大优于基于采样的方法。
2018-11-12 cs.AI cs.LG stat.ML
Convex Combination Belief Propagation Algorithms
我们提出了新的消息传递算法进行推理与图形模型。我们的方法是专为最困难的推理问题，循环的信念传播和其他算法无法收敛。当底层图形模型是非循环的时，置信传播保证收敛，但是当底层图形具有复杂拓扑时，置信传播可能无法收敛并且对初始化敏感。本文介绍了修改标准的信念传播算法，导致的方法，收敛到唯一的解决方案的图形模型与任意拓扑结构和潜在的功能。
2022-07-18 cs.AI stat.CO
Lifted Tree-Reweighted Variational Inference
Nuance Communications（Nuance通信公司）；John von Neumann Institute（冯·诺依曼研究所）；Vietnam National University（越南国家大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
我们分析高度对称的图形模型，如一阶概率模型所产生的变分推理。我们首先表明，对于这些图形模型，树重新加权变分目标本身的一个紧凑的解除制定，可以更有效地解决比标准的TRW制定地面图形模型。与早期关于提升置信传播的工作相比，我们的公式导致了提升边缘推理的凸优化问题，并提供了分区函数的上界。我们提供了两种方法来提高解除TRW上限。第一个是一种方法，用于有效地计算最大生成树的高度对称图，它可以用来优化TRW边的出现概率。第二个是一种方法，用于收紧放松的边缘多面体使用提升循环不等式和新的可交换的集群一致性约束。
2014-06-19 cs.AI stat.ML
Consensus Message Passing for Layered Graphical Models
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
生成模型为概率推理提供了一个强大的框架。然而，在许多领域，它们的使用受到推理的实际困难的阻碍。这在计算机视觉中尤其如此，其中成像过程的模型往往是大的、多环的和分层的。由于这个原因，自下而上的条件模型传统上在这些领域占主导地位。我们发现，广泛使用的，通用的消息传递推理算法，如期望传播（EP）和可变消息传递（VMP）失败的最简单的视觉模型。考虑到这些模型，我们引入了一个修改的消息传递，学会利用他们的分层结构通过传递“共识”的消息，引导推理走向好的解决方案。对各种问题的实验表明，所提出的技术导致更准确的推理结果，不仅与标准EP和VMP相比，而且与竞争性自下而上的条件模型相比。
2015-01-26 cs.AI cs.CV cs.LG
