Compiling Relational Database Schemata into Probabilistic Graphical Models
University of Massachusetts（马萨诸塞大学）；Microsoft Research（微软研究院）
在这项工作中，我们提出了一种方法，使用关系数据库模式自动构建贝叶斯图形模型的数据库，而不是需要一个领域的专家来指定的数据的概率依赖关系。此生成的模型包含列的自定义分布、对数据进行聚类的潜在变量以及反映和表示外键链接的因子。实验证明了该模型的准确性和推理的可扩展性的合成和真实世界的数据。
2012-12-05 cs.AI cs.DB cs.LG
Lipschitz Parametrization of Probabilistic Graphical Models
Stony Brook University（石溪大学）
我们证明了几个概率图模型的对数似然是Lipschitz连续的Lp-范数的参数。我们讨论了Lipschitz参数化的几个含义。我们提出了一个上限的Kullback-Leibler分歧，允许理解的方法，惩罚的Lp-范数的参数的差异，最小化的上限。期望的对数似然是由负lp范数下界，这允许理解概率模型的泛化能力。负lp-范数的指数涉及贝叶斯出错率的下界，这表明在依赖度量空间的算法（例如分类、降维、聚类）中使用参数作为特征是合理的。我们的结果不依赖于特定的算法来学习结构或参数。我们展示了活动识别和时间分割的初步结果。
2012-02-14 cs.LG stat.ML
Getting started in probabilistic graphical models
Princeton University（普林斯顿大学）；Lewis-Sigler Institute for Integrative Genomics（刘易斯-西格勒综合基因组学研究所）
概率图模型（PGMs）已成为一种流行的工具，用于计算分析的生物学数据在各种领域。但是，它们到底是什么，它们是如何工作的？我们如何使用PGMs来发现生物相关的模式？铂族金属在多大程度上可以帮助我们制定新的假设，在板凳上测试？本文概述了一些答案，并说明了生物模式发现的统计方法背后的主要思想。
2007-11-10 cs.LG physics.soc-ph q-bio.QM
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
PGMax是一个开源Python包，用于（a）轻松地将离散概率图形模型（PGM）指定为因子图;以及（b）在JAX中自动运行高效和可扩展的循环置信传播（LBP）。PGMax支持具有易处理因子的一般因子图，并利用GPU等现代加速器进行推理。与现有的替代方案相比，PGMax获得了更高质量的推理结果，推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互，开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Probabilistic Graphical Models and Tensor Networks: A Hybrid Framework
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Princeton University（普林斯顿大学）；X - The Moonshot Factory（X——登月工厂）
我们研究了离散概率建模的两种形式主义之间的对应关系：概率图模型（PGMs）和张量网络（TN），一个强大的模拟复杂量子系统的建模框架。PGM和TN的图形演算表现出许多相似之处，离散无向图形模型（UGM）是TN的特殊情况。然而，更一般的概率TN模型，如玻恩机（BM）采用复值隐藏状态，以产生新形式的概率之间的相关性。虽然表示用于捕获离散概率分布中的结构的新的建模资源，但是这种行为也使得标准PGM工具的直接应用不可能。我们的目标是通过引入一个混合PGM-TN形式主义，集成到PGM模型中的量子相关性的原则性的方式，使用物理动机的概念退相干弥合这一差距。我们首先证明，将退相干应用到整个BM模型将其转换为离散UGM，相反，离散UGM的任何子图都可以表示为退相干BM。这种方法允许一个广泛的家庭的概率TN模型被编码为部分decorescent BM，事实上，我们利用这两个模型家族的代表性的优势相结合。我们通过实验验证了这种混合模型在顺序建模任务中的性能，并确定了我们的方法在现有图形模型应用程序的背景下有前途的用途。
2021-06-29 cs.LG quant-ph stat.ML
On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models
Duke University（杜克大学）；Meta Inc.（元公司）
针对深度神经网络缺乏明确概率解释的问题，研究构建了与神经网络精确对应的无限树结构概率图模型，证明其前向传播是该结构下的精确推理近似，补充了相关理论并为融合两类模型优势提供了可能。
2025-01-17 cs.LG stat.ML
A Connection between Feed-Forward Neural Networks and Probabilistic Graphical Models
Dresden University of Technology（德累斯顿工业大学）
计算机视觉中最流行的两种建模范例是前馈神经网络（FFN）和概率图形模型（GM）。在最近的工作中，已经研究了两者之间的各种联系，例如将GM中基于平均场的推理表示为FFN。本文建立了一个新的FFNs和GM之间的联系。我们的关键观察是，任何FFN实现了相应的贝叶斯网络（BN）的某种近似。我们描述了拥有这种联系的各种好处。特别是，它的结果在一个新的学习算法的BN。我们验证了CIFAR-10数据集上的分类问题和魏茨曼马数据集上的二值图像分割所提出的方法。我们表明，统计学习的BN提高性能，同时具有更好的泛化能力，比他们的FFN同行。
2017-10-30 cs.CV cs.LG stat.ML
Probabilistic Graphical Models in Astronomy
University of Notre Dame（圣母大学）
本文提出利用概率图模型分析天文学数据，揭示宇宙变量间的依赖结构和生成过程，应用于系外行星和宿主恒星研究。
2026-01-23 astro-ph.IM stat.AP
Parametric Modelling of Multivariate Count Data Using Probabilistic Graphical Models
CIRAD（法国农业研究与国际合作组织）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Laboratoire Jean Kuntzmann（让·库茨曼实验室）
多变量计数数据定义为从总体内的抽样中发布的不同类别的项目的数量，其中个体被分组到类别中。多变量计数数据的分析是许多建模问题中经常出现的关键问题，特别是在生物学和生态学（其中数据可以表示与多类型分支过程相关的儿童计数），社会学和计量经济学领域。我们专注于I）识别同时出现的类别，或者相反，相互排斥的类别。这是通过以下方式实现的：识别变量之间的条件独立关系; II）构建与这些关系一致的简约参数模型; III）表征和检验协变量对计数的联合分布的影响。为了实现这些目标，我们提出了一种基于图形概率模型的方法，更具体地说，部分有向无环图。
2013-12-16 cs.LG stat.ME stat.ML
Inference in Probabilistic Graphical Models by Graph Neural Networks
Hanyang University（汉阳大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；University of Toronto（多伦多大学）；Uber ATG Toronto（优步先进技术集团多伦多分部）；Vector Institute（向量研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
统计推断和准确决策的基本计算是计算任务相关变量的边际概率或最可能状态。概率图模型可以有效地表示这种复杂数据的结构，但执行这些推理通常是困难的。消息传递算法（如置信传播）是在利用图结构的同时在相关变量之间传播证据的自然方式，但当条件依赖图包含循环时，这些算法可能会遇到困难。在这里，我们使用图神经网络（GNNs）来学习解决这些推理任务的消息传递算法。我们首先证明了GNN的架构与推理任务非常匹配。然后，我们通过在一组图形模型上训练GNN来证明这种推理方法的有效性，并表明它们在循环图上的表现大大优于信念传播。我们的消息传递算法从训练集推广到更大的图和具有不同结构的图。
2019-06-27 cs.AI cs.LG stat.ML
Generalized Permutohedra from Probabilistic Graphical Models
图形模型通过马尔可夫性对条件独立关系进行编码。对于一个无向图，这些条件独立关系可以用一个简单的多面体来表示，称为图结合面体，它可以被构造为标准单形的Minkowski和。有一个类似的多面体的条件独立关系来自一个规则的高斯模型，它可以定义使用多信息或相对熵。对于有向无环图形模型，也为混合图形模型包含无向，有向和双向边，我们给这个多面体的建设，正常球迷的等价，作为Minkowski和拟阵多面体。最后，我们应用这种几何洞察力，通过有向无环图模型构建一个新的基于排序的因果推理搜索算法。
2017-12-07 math.CO math.ST stat.TH
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT（麻省理工学院）
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布，给定相应的数据集。任意分布的条件独立结构可以表示为无向图（或马尔可夫随机场），但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布，从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的，因为它可以加速推理，改进采样方法，并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接，确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Statistical inference with probabilistic graphical models
École Normale Supérieure（巴黎高等师范学院）；Université Paris Diderot（巴黎狄德罗大学）；Tokyo Institute of Technology（东京工业大学）；Massachusetts Institute of Technology（麻省理工学院）
这些是Devavrat Shah在秋季学校“统计物理，优化，推理和消息传递算法”的演讲笔记，该讲座于2013年9月30日星期一在法国Les Houches举行，直到2013年10月11日星期五。该学校由UPMC和ENS Paris的Florent Krzakala，La Sapienza Roma的Federico Ricci-Tersenghi，CEA Saclay和CNRS的Lenka Zdeborova以及Politecnico Torino的Riccardo Zecchina组织。Devavrat Shah（麻省理工学院）的这个讲座涵盖了推理和学习的基础知识。它解释了推理问题如何在称为图形模型的结构中表示。然后解释和推导了置信传播算法的理论基础。这堂课为消息传递算法的推广和应用做好准备。
2014-09-17 cs.LG stat.ML
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology（格拉茨工业大学）
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法，据此提出能够自动适应给定模型的自由能近似，并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
Probabilistic Graphical Models on Multi-Core CPUs using Java 8
Norwegian University of Science and Technology（挪威科技大学）；Aalborg University（奥尔堡大学）
在本文中，我们讨论了软件设计问题的并行计算智能算法的多核CPU上的发展，使用新的Java 8函数编程功能。特别是，我们专注于概率图形模型（PGMs），并提出了并行化的一系列算法，处理从数据中推断和学习PGMs。即，最大似然估计，重要性采样，和贪婪搜索解决组合优化问题。通过这些具体的例子，我们解决了为PGM定义有效数据结构的问题，并使用Java 8特性对相同大小的数据集进行并行处理。我们还提供了直接的技术来编码并行算法，无缝地利用多核处理器。实验分析，使用我们的开源AMIDST（分析的MassIve数据流）Java工具箱进行，显示了所提出的解决方案的优点。
2016-04-27 cs.AI cs.DC stat.ML
Exact and Approximate MCMC for Doubly-intractable Probabilistic Graphical Models Leveraging the Underlying Independence Model
Department of Statistics Purdue University（普渡大学统计系）
本文提出了一种无需完美或顺序采样器的MCMC方法，用于双重不可计算概率图模型，通过利用底层可计算的独立模型构建无偏蒙特卡洛估计，提升高维下的可扩展性。
2026-03-27 stat.CO stat.ME stat.ML
Global sensitivity analysis in probabilistic graphical models
School of Human Sciences & Technology, IE University（IE大学人文科学与技术学院）
我们展示了如何应用Sobol的全局敏感性分析方法来衡量一组节点的证据对贝叶斯网络所表达的兴趣量的影响。该方法利用网络结构，将Sobol指数估计问题转化为边缘化推理问题。通过这种方式，我们可以有效地计算网络的指数，其中基于方差的敏感性分析的基于蛮力或蒙特卡罗的估计量需要数百万个昂贵的样本。此外，我们的方法给出了精确的结果时，使用精确的推理，也支持相关输入的情况下。该算法的灵感来自于张量网络领域，并将早期的张量灵敏度技术从非循环推广到循环情况。我们展示了三个中型到大型贝叶斯网络，涵盖项目风险管理和可靠性工程领域的方法。
2021-10-07 cs.AI cs.LG stat.ML
Propagating moments in probabilistic graphical models with polynomial regression forms for decision support systems
本文提出一种基于多项式回归和矩传播的消息传递算法，用于概率图模型中的精确期望效用计算，可扩展应用于能源规划与实时临床决策支持。
2024-05-24 stat.AP stat.ME
On resampling vs. adjusting probabilistic graphical models in estimation of distribution algorithms
Federal University of Technology - Paraná (UTFPR)（联邦理工大学-巴拉那州（UTFPR））；The University of Adelaide（阿德莱德大学）；Aalborg University（奥尔堡大学）
贝叶斯优化算法（BOA）是一种使用贝叶斯网络作为概率图模型（PGM）的分布估计算法（EDA）。在给定解样本的情况下，确定最优贝叶斯网络结构是一个NP难问题。这个步骤应该在BOA的每次迭代中完成，这是一个非常耗时的过程。出于这个原因，大多数实现使用贪婪估计算法，如K2。然而，我们在本文中表明，PGM结构的显着变化并不经常发生，并且在进化结束时可能特别稀疏。因此，BOA的统计研究提出了一种模式的PGM调整，可以作为一个指导，以减少在进化过程中的PGM更新的频率。这是通过提出一种新的基于BOA的优化方法（FBOA），其PGM在每次迭代时都不更新来实现的。这种新方法避免了标准BOA中通常存在的计算负担。结果比较两种算法的性能NK景观优化问题使用的耐用性和预期的运行时间之间的相关性枚举的实例。实验表明，FBOA提出了竞争力的结果，同时显着节省计算时间。
2019-02-15 cs.AI cs.LG stat.ML
Copy-composition for Probabilistic Graphical Models
VERSES Research Lab（VERSES研究实验室）；Topos Institute（托波斯研究所）
本文为复制复合提供了起源故事，证明贝叶斯网络和因子图分别通过拉推操作和复制复合进行组合，并引入测度核双纤维化以将概率建模推广至依赖类型。
2025-09-24 math.CT math.ST stat.TH
Learning Functional Graphs with Nonlinear Sufficient Dimension Reduction
Yonsei University（延世大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种基于非线性充分维度缩减的非参数函数图模型，通过避免维度灾难提高估计精度，并保留概率条件独立性作为边不存在的标准。
2026-01-22 stat.ME stat.ML
From probabilistic graphical models to generalized tensor networks for supervised learning
Max-Planck-Institut für Quantenoptik（马克斯·普朗克量子光学研究所）；Munich Center for Quantum Science and Technology (MCQST)（慕尼黑量子科学与技术中心（MCQST））
张量网络在物理学和计算机科学的各种应用中得到了广泛的应用，最近导致了机器学习中的理论见解和实用算法。在这项工作中，我们探索张量网络和概率图形模型之间的联系，并表明它激发了广义张量网络的定义，其中张量的信息可以在网络的其他部分复制和重用。我们讨论了量子物理中使用的广义张量网络架构（如弦键态）与机器学习中常用的架构之间的关系。我们提供了一个算法，训练这些网络在监督学习的背景下，并表明他们克服了常规张量网络在更高的维度的局限性，同时保持计算效率。还介绍了一种将神经网络和张量网络结合起来作为通用深度学习架构的一部分的方法。我们基准测试我们的算法的几个广义张量网络架构的分类图像和声音的任务，并表明它们优于以前介绍的张量网络算法。我们考虑的模型也可以在量子计算机上自然实现，并可能指导近期量子机器学习架构的开发。
2019-12-03 cond-mat.str-el cs.LG quant-ph
Kalman filter demystified: from intuition to probabilistic graphical model to real case in financial markets
A.I. SQUARE CONNECT；LAMSADE；Paris Dauphine University（巴黎多芬大学）；Université Paris Dauphine（巴黎多芬大学）
在本文中，我们重新审视卡尔曼滤波理论。在给出了一个简化的金融市场例子的直观性之后，我们重新审视了它背后的数学基础。然后，我们展示了卡尔曼滤波器可以用一种非常不同的方式来表示，使用图形模型。这使我们能够建立卡尔曼滤波器和隐马尔可夫模型之间的联系。然后，我们看看他们在金融市场的应用，并提供各种直观的复杂系统，如金融市场的适用性。虽然本文写得更像是一个自包含的工作，将卡尔曼滤波器连接到隐马尔可夫模型，因此重新访问了众所周知的和建立的结果，它包含了新的结果，并为该领域带来了额外的贡献。首先，利用卡尔曼滤波和隐马尔可夫模型之间的联系，给出了扩展卡尔曼滤波的新的推理算法。其次，由于使用了CMA-ES优化，它提出了一种替代传统的参数估计使用EM算法。第三，研究了卡尔曼滤波器及其隐马尔可夫模型在金融市场中的应用，提供了各种动态假设和测试。最后，我们将卡尔曼滤波方法与趋势跟踪技术分析系统相结合，展示了它们在趋势跟踪检测方面的优越性能。
2018-12-13 cs.LG q-fin.ST stat.ML
Probabilistic Graphical Modeling approach to dynamic PET direct parametric map estimation and image reconstruction
在动态发射断层扫描的背景下，传统的处理流水线由单个时间帧的独立图像重建组成，然后在体素或感兴趣区域水平上将合适的动力学模型应用于时间活动曲线（TAC）。相比之下，相对较新的4D PET直接重建领域试图超越该方案，并将来自多个时间帧的信息纳入重建任务中。现有的4D直接模型基于体素的TAC的确定性描述，由所选择的动力学模型捕获，考虑光子计数过程是唯一的不确定性来源。在这项工作中，我们引入了一个新的概率建模策略的基础上的关键假设，即活动的时间过程将受到不确定性，即使底层的动态过程的参数是已知的。这导致了一个分层贝叶斯模型，我们制定使用概率图建模（PGM）的形式主义。利用一种新的基于梯度的迭代算法对PGM的联合概率密度函数进行了推导，与现有的直接方法相比，该算法具有以下优点：对线性和非线性动力学模型的任意选择具有灵活性;它更易于实现并且适合于集成到用于机器学习的计算框架中。计算机模拟和应用到真正的病人扫描表明，所提出的方法如何使我们能够加权的动力学模型的重要性，间接和确定性的直接方法之间提供了一个桥梁。
2018-08-24 physics.data-an physics.med-ph stat.AP
Fast Wasserstein rates for estimating probability distributions of probabilistic graphical models
National University of Singapore（新加坡国立大学）；University of Tübingen（蒂宾根大学）
本文研究了利用独立同分布数据在Wasserstein距离下估计高维分布时，如何通过概率图模型的结构知识克服维度诅咒，证明了局部图结构对估计速率的影响，以及不同光滑条件下的精确速率结果。
2026-05-21 math.PR math.ST stat.TH
Model Uncertainty and Correctability for Directed Graphical Models
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
概率图模型是概率建模、机器学习和人工智能的基本工具。它们使我们能够以自然的方式集成专家知识，物理建模，异构和相关数据以及感兴趣的数量。正是由于这个原因，模型不确定性的多个来源是图形模型的模块化结构中固有的。在本文中，我们开发了信息理论，强大的不确定性量化方法和非参数压力测试有向图模型，以评估多源模型的不确定性的影响和传播通过图感兴趣的数量。这些方法使我们能够对不同的不确定性来源进行排名，并通过针对感兴趣的数量来校正图形模型中最具影响力的组件。因此，从机器学习的角度来看，我们提供了一个数学上严格的方法来纠正，保证系统的选择，以改善组件的图形模型，同时控制潜在的新的错误，在该过程中创建的其他部分的模型。我们证明了我们的方法在两个物理化学的例子，即量子尺度通知化学动力学和材料筛选，以提高燃料电池的效率。
2021-07-17 cs.IT cs.LG math.IT
How do Probabilistic Graphical Models and Graph Neural Networks Look at Network Data?
Department of Physics and Astronomy, University of Bologna（博洛尼亚大学物理与天文学系）；Max Planck Institute for Intelligent Systems, Cyber Valley（智能系统马克斯·普朗克研究所，Cyber Valley）；Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology（代尔夫特理工大学电子工程、数学与计算机科学学院）
本文通过链路预测任务比较概率图模型与图神经网络，发现PGMs在低维或噪声特征及高异质性图下更鲁棒，并进一步从计算复杂性和可解释性方面对比了两类框架。
2025-08-22 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Marginal and simultaneous predictive classification using stratified graphical models
归纳概率分类规则一般必须遵循贝叶斯预测推理的原则，使得所有观察到的和未观察到的随机量被联合建模，并且通过后验预测分布完全承认参数的不确定性。几个这样的规则最近已被认为是其渐近行为的特征在于假设所观察到的功能或用于建立一个分类器的变量是有条件的独立给定的同时标记的训练样本和那些从一个未知的来源。在这里，我们将理论结果扩展到预测分类器，通过图形模型或定义为分层图形模型的稀疏替代品来确认特征依赖关系。我们还表明，通过实验与合成和真实的数据，预测分类器的基础上分层的图形模型具有一致的最佳精度相比，预测分类器的基础上，无论是条件独立的功能或普通的图形模型。
2014-01-31 stat.ML
Probabilistic Graphical Models for Credibility Analysis in Evolving Online Communities
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Universität des Saarlandes（萨尔大学）
妨碍充分利用在线社区信息的主要障碍之一是对用户贡献内容的质量和可信度的普遍关切。该领域的先前工作基于社区的静态快照进行操作，对数据的结构做出强有力的假设（例如，关系表），或者仅考虑用于文本分类的浅特征。为了解决上述局限性，我们提出了概率图形模型，可以利用在线社区中的多个因素之间的联合相互作用-如用户交互，社区动态和文本内容-自动评估用户贡献的在线内容的可信度，以及用户的专业知识及其演变与用户可解释的解释。为此，我们设计了基于条件随机场的新模型，用于不同的设置，如将部分专家知识用于半监督学习，并处理离散标签以及细粒度分析的数字评级。这使得应用程序能够从健康论坛中的用户贡献的帖子中提取可靠的药物副作用，并识别新闻社区中的可信内容。在线社区是动态的，随着用户的加入和离开，适应不断变化的趋势，并随着时间的推移而成熟。为了捕捉这种动态，我们提出了基于隐马尔可夫模型，潜在狄利克雷分配和布朗运动的生成模型，以跟踪用户专业知识及其语言模型随时间的不断演变。这使我们能够识别专家用户和可信的内容随着时间的推移，提高国家的最先进的推荐系统，明确考虑用户的成熟度。这也使应用程序，如识别有用的产品评论，并检测虚假和异常评论与有限的信息。
2017-07-26 cs.AI cs.CL cs.IR
Probabilistic Graphical Model using Graph Neural Networks for Bayesian Inversion of Discrete Structural Component States
Key Lab of Smart Prevention and Mitigation of Civil Engineering Disasters of the Ministry of Industry and Information Technology（工信部智能防灾减灾重点实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Key Lab of Structures Dynamic Behavior and Control of the Ministry of Education, School of Civil Engineering, Harbin, Institute of Technology（教育部结构动力行为与控制重点实验室，土木工程学院）；The Institute of Statistical Mathematics, Research Organization of Information and Systems（统计数学研究所，信息与系统研究机构）；The Graduate University for Advanced Studies, SOKENDAI（高等研究大学，SOKENDAI）；Division of Engineering and Applied Science, California Institute of Technology（工程与应用科学系，加州理工学院）
本文提出基于概率图模型的新型贝叶斯反演方法，利用图神经网络实现高效离散状态推断，解决高维参数和非解析似然函数带来的计算挑战。
2026-04-29 cs.LG stat.ME stat.ML
Incorporating structured assumptions with probabilistic graphical models in fMRI data analysis
The University of Tokyo（东京大学）；Princeton University（普林斯顿大学）；Facebook Reality Labs（Facebook现实实验室）；Columbia University（哥伦比亚大学）；Intel Corporation（英特尔公司）
近年来，随着功能磁共振成像（fMRI）被认知神经科学研究者广泛采用，积累了大量的脑成像数据。聚合这些数据以获得科学见解通常面临的挑战是，fMRI数据是高维的、跨人群的异构的并且有噪音。这些挑战要求开发针对神经科学问题和数据属性的计算工具。我们回顾了几个最近开发的算法在各个领域的功能磁共振成像研究：功能磁共振成像在自然主义的任务，分析全脑功能连接，模式分类，推断代表性的相似性和建模结构化残差。这些算法都以类似的方式解决了fMRI中的挑战：它们首先对神经数据和现有领域知识的假设做出明确的陈述，将这些假设和领域知识纳入概率图模型，并使用这些模型来估计数据中感兴趣的属性或潜在结构。这样的方法可以避免错误的发现，减少噪音的影响，更好地利用数据的已知属性，并更好地跨受试者组聚合数据。通过这些成功的案例，我们提倡在认知神经科学中更广泛地采用外显模型构建。虽然我们专注于功能磁共振成像，这里说明的原则是普遍适用于其他形式的大脑数据。
2020-05-29 cs.LG q-bio.NC stat.AP
Automatic Backward Filtering Forward Guiding for Markov processes and graphical models
我们将离散和连续时间马尔可夫过程作为构建块到概率图形模型的潜在和观察变量。我们引入自动后向滤波前向引导（BFFG）范例（Mider等人，2021）用于对潜在状态和模型参数的可编程推断。我们的出发点是一个生成模型，一个概率过程动态的前向描述。我们通过模型反向传播观测提供的信息，将生成（前向）模型转换为由数据指导的预条件模型。它近似于实际的条件模型与已知的似然比之间的两个。后向滤波器和测量的前向改变适合于被并入概率编程上下文中，因为它们可以被公式化为一组变换规则。引导生成模型可以被合并在不同的方法中，以有效地对潜在状态和以观测为条件的参数进行采样。我们在各种设置，包括马尔可夫链与离散状态空间，相互作用的粒子系统，状态空间模型，分支扩散和伽玛过程的适用性。
2022-10-31 stat.CO stat.ME
Composing graphical models with neural networks for structured representations and fast inference
我们提出了一个通用的建模和推理框架，该框架将概率图模型与深度学习方法组合在一起，并结合了它们各自的优势。我们的模型家族用神经网络观测模型增强了潜变量的图形结构。对于推理，我们扩展变分自编码器使用图形模型近似分布与识别网络输出共轭电位。这些模型的所有组件都是通过一个目标同时学习的，从而提供了一个可扩展的算法，该算法利用了随机变分推断、自然梯度、图形模型消息传递和重新参数化技巧。我们说明了这个框架与几个例子模型和应用程序的小鼠行为表型。
2017-07-07 stat.ML
Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables
Vicarious AI；MIT（麻省理工学院）
概率图模型（PGMs）提供了一种紧凑的知识表示，可以以灵活的方式进行查询：在学习一次图模型的参数后，可以在测试时回答新的概率查询，而无需重新训练。然而，当使用具有隐变量的无向PGMS时，除了最简单的模型之外，两个误差源通常在所有模型中复合：（a）学习误差（计算分区函数和积分隐变量都是棘手的）;和（b）预测误差（精确推断也是棘手的）。在这里，我们介绍了查询训练（QT），一种学习PGM的机制，该机制针对与之配对的近似推理算法进行了优化。最终的PGM是一个更差的数据模型（通过似然性来衡量），但它被调整为针对给定的推理算法产生更好的边缘。与以前的作品不同，我们的方法保留了原始PGM的查询灵活性：在测试时，我们可以估计任何部分证据的任何变量的边际。我们通过实验证明，QT可用于学习具有隐藏变量的具有挑战性的8连接网格马尔可夫随机场，并且当在多个数据集的三个无向模型上进行测试时，它始终优于最先进的AdVIL。
2021-02-26 cs.LG stat.ML
Towards Sampling from Nondirected Probabilistic Graphical models using a D-Wave Quantum Annealer
Mississippi State University（密西西比州立大学）
具有2048个量子比特晶格的D-Wave量子退火器（QA），没有丢失的量子比特和耦合，允许嵌入受限玻尔兹曼机（RBM）的完整图。具有8 × 7像素可见单位的手写数字OptDigits数据集用于使用经典对比发散训练RBM。将经典训练的RBM嵌入到D-Wave网格中用于证明QA提供了经典马尔可夫链蒙特卡罗（MCMC）的高效替代方案，用于重建测试图像的缺失标签以及生成模型。在任何训练迭代中，基于D-Wave的分类的分类误差比MCMC低两倍以上。本研究的主要目的是调查从RBM模型分布的样本的质量，并将其与经典MCMC样本进行比较。对于OptDigits数据集，与MCMC样本相比，D-Wave样本中的状态属于大约两倍的局部谷。MCMC样本中的所有最低能量（最高联合概率）局部极小值也被D-Wave发现。D波错过了许多高能量的局部山谷，同时发现了许多MCMC一直错过的“新”局部山谷。据建立的“新的”局部谷，D波发现是重要的模型分布在相应的局部极小值的能量，局部谷的宽度，和逃逸势垒的高度。
2019-05-01 cs.LG quant-ph stat.ML
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法，其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算，如核求和规则和核贝叶斯规则而发展起来。然而，目前的框架是完全非参数的，它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型（或仿真模型）可用时，这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法，称为{ \em模型为基础的内核和规则}（Mb-KSR），结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合，可以开发用于混合（即，非参数和基于模型的）推断。作为一个说明性的例子，我们考虑贝叶斯滤波的状态空间模型，通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法，结合基于模型的推理的状态转换过程和数据驱动的，非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验，后者是基于视觉的移动机器人定位在机器人技术，这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
Understanding the Behavior of Belief Propagation
Graz University of Technology（格拉茨技术大学）
概率图模型是建模高维分布的一个强大的概念。除了对分布建模之外，概率图模型还为执行统计推断提供了一个优雅的框架;然而，由于高维性质，人们必须经常使用近似方法来实现这一目的。信念传播执行近似推理，是有效的，并回顾了一个很长的成功故事。然而，在大多数情况下，信念传播缺乏任何性能和收敛保证。许多现实的问题，提出了图形模型与循环，但是，在这种情况下，既不能保证置信传播提供准确的估计，也不能保证它收敛。本文研究了模型参数对置信传播性能的影响。我们特别感兴趣的是它们对（i）不动点的数目，（ii）收敛性，和（iii）逼近质量的影响。
2022-09-05 cs.AI cs.LG stat.ML
Markov Chains on Orbits of Permutation Groups
Universität Mannheim（曼海姆大学）
我们提出了一种新的方法来检测和利用概率图形模型的对称性有两个主要贡献。首先，我们提出了一个可扩展的方法来计算代表对称性的图形模型的置换群的生成集。其次，我们引入轨道马尔可夫链，一个新的家庭马尔可夫链利用模型的对称性，以减少混合时间。我们建立了一个有见地的模型对称性和快速混合轨道马尔可夫链之间的连接。因此，我们提出了第一个提升MCMC算法的概率图模型。分析和实证结果表明，该方法的有效性和效率。
2012-06-28 cs.AI math.CO stat.CO
Probabilistic graphical model based approach for water mapping using GaoFen-2 (GF-2) high resolution imagery and Landsat 8 time series
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）；University of California, Berkeley（加州大学伯克利分校）；Joint Center for Global Change Studies（全球变化研究联合中心）
本文的目的是评估高分二号（GF-2）高分辨率多光谱传感器（MS）和全色（PAN）图像在水测绘中的潜力。高分辨率数据水体制图的难点包括：1）水体与阴影或其他低反射率地物的误分类，这主要是由给定波段范围内的光谱相似性引起的; 2）水体尺寸小于MS图像空间分辨率的小水体。为了解决水和低反射率物体之间的混淆问题，增加了具有两个短波红外（SWIR）波段的Landsat 8时间序列，因为水在SWIR中具有极强的吸收。为了整合三个多传感器，多分辨率的数据集，概率图形模型（PGM）在这里使用的条件概率分布定义主要基于每个对象的大小。为了比较，从PCA融合和MS数据的SVM分类器，PAN图像上的阈值化方法，和Landsat数据上的水指数方法的结果进行了计算。计算了所有方法的混淆矩阵。结果表明，PGM方法可以实现最佳的性能与最高的整体精度。此外，还可以通过在PGM中的PAN结果上添加权重来提取小河流。最后，后的分类过程中应用的PGM结果，以进一步排除在阴影和水陆边界区域的错误分类。因此，生产者的，用户的和整体的准确性都增加了，表明我们的方法的有效性。
2016-12-22 cs.CV stat.AP
Graphical Normalizing Flows
ULiège（列日大学）
规范化流通过将基本分布与一系列双射神经网络相结合来模拟复杂的概率分布。最先进的架构依赖于耦合和自回归变换来将可逆函数从标量提升到向量。在这项工作中，我们重新审视这些转换作为概率图形模型，显示它们减少到贝叶斯网络与预定义的拓扑结构和可学习的密度在每个节点。从这个新的角度来看，我们提出了图形规范化流，一个新的可逆变换，无论是规定的或可学习的图形结构。该模型提供了一种很有前途的方式注入领域知识的规范化流，同时保持贝叶斯网络的可解释性和规范化流的表示能力。我们发现，图形条件发现相关的图形结构时，我们不能hypothesize. In此外，我们分析的效果$\ell_1$ -惩罚上恢复的结构和质量的密度估计。最后，我们表明，图形条件导致有竞争力的白盒密度估计。我们的实现可以在https://github.com/AWehenkel/DAG-NF上获得。
2021-02-12 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Discriminative models for robust image classification
The Graduate School（研究生院）
各种现实世界的任务涉及到图像到预定类别的分类。设计对采集噪声和图像失真表现出鲁棒性的图像分类算法，特别是当可用的训练数据不足以学习准确的模型时，是一个重大的挑战。本论文探讨了发展的歧视性模型的强大的图像分类，利用潜在的信号结构，通过概率图形模型和稀疏信号表示。概率图模型被广泛用于许多应用中，以降低复杂性的设置来近似高维数据。学习图形结构来近似概率分布是一个活跃的研究领域。最近的工作集中在学习图的区别性的方式，以最大限度地减少分类错误的目标。在论文的第一部分中，我们开发了一个判别学习框架，利用互补但相关的信息提供的多个表示（或投影）的一个给定的信号/图像。具体来说，我们提出了一个判别树为基础的计划，通过明确学习的条件相关性，这样的多个投影在迭代的方式进行特征融合。实验表明，所得到的图形模型分类器的鲁棒性训练不足。
2016-03-08 cs.CV stat.ML
A probabilistic graphical model approach in 30 m land cover mapping with multiple data sources
State Key Laboratory of Remote Sensing Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences（中国科学院遥感与数字地球研究所遥感科学国家重点实验室）；Ministry of Education Key Laboratory for Earth System Modeling, Center for Earth System Science, Tsinghua University（清华大学地球系统科学研究中心地球系统模拟教育部重点实验室）
目前的趋势是使用多源分类方法获得高精度的土地覆盖图，其中大多数方法是基于数据融合，特别是像素或特征级融合。本文提出了一种利用多时相Landsat和中分辨率成像光谱仪（MODIS）数据进行30 m分辨率土地覆盖制图的概率图模型（PGM）方法。独立的分类器被应用到两个单日期Landsat 8场景和MODIS时间序列数据，分别进行概率估计。为Landsat 8数据中的每个像素创建了PGM。通过选择性地使用信息，基于数据质量和可靠性计算条件概率分布。以北京市行政区域（区域1）和山东省沿海地区（区域2）为研究区域，生成多幅土地覆盖图进行比较。定量结果表明了该方法的有效性。整体精度从74.0%（地图获得的单时Landsat图像）提升到81.8%（输出的PGM）的区域-1。当使用中分辨率成像分光仪数据和只有一个单一的时间陆地卫星图像作为输入时，也可以看到改进（总体精度：78.4%对74.0%的区域1，86.8%对83.0%的区域2）。当PGM应用于无云地区时，来自MODIS数据的信息没有多大帮助。所提出的方法的优点之一是，它可以应用于多时相数据不能简单地堆叠为一个多层图像。
2016-12-11 cs.CV stat.AP
Uncertainty quantification for Markov Random Fields
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
提出了一种基于信息的一般马尔可夫随机场不确定性量化方法。马尔可夫随机场（MRF）是无向图上的结构化概率图模型，并且为统计力学、概率机器学习和人工智能提供基本的统一建模工具。通常，MRF是复杂且高维的，其中节点和边（连接）以模块化的方式从更简单的低维概率模型及其本地连接中构建;反过来，这种模块化允许将可用数据合并到MRF中，并通过利用其图论结构来有效地模拟它们。从数据中学习图形模型和/或从物理建模和约束中构建图形模型必然涉及从数据、建模选择或数值近似中继承的不确定性。MRF中的这些不确定性可以在图结构或概率分布函数中表现出来，并且必然会在对感兴趣的量的预测中传播。在这里，我们量化这样的不确定性，使用紧密的，基于信息的边界上的预测量的利益，这些边界利用的图形结构的MRF和能够处理固有的高维图形模型。我们证明了我们的方法在医疗诊断和统计力学模型的MRF。在后者中，我们开发了有限尺寸效应和相图的不确定性量化界限，这构成了统计力学建模的两个典型预测目标。
2021-07-17 cs.IT cs.LG math.IT
Model Selection for Graphical Log-linear Models: A Forward Model Selection Algorithm based on Mutual Conditional Independence
模型选择和从数据样本中学习图模型的结构构成了概率图模型研究的一个重要领域，因为在大多数情况下，结构是未知的，必须从给定的数据集中学习。本文提出了一种新的图对数线性模型的前向模型选择算法。我们使用相互条件独立性检查来减少搜索空间，这也考虑了联合效应的评估，并消除了遗漏重要交互作用的机会。我们用一个真实的数据集例子来说明我们的算法。
2016-03-11 stat.ME
Distributionally Robust Graphical Models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在许多结构化预测问题中，变量之间的复杂关系是使用图形结构来复杂定义的。最流行的图形预测方法-概率图形模型和大裕度方法-有其独特的优点，但也有显着的缺点。条件随机场（CRF）是Fisher一致的，但它们不允许将定制的损失度量集成到它们的学习过程中。大利润模型，如结构化支持向量机（SSVM），具有灵活性，以纳入定制的损失指标，但缺乏费舍尔一致性保证。我们提出了对抗性图形模型（AGM），一种分布鲁棒的方法，用于构建一个预测器，该预测器对于使用图形结构定义的一类数据分布具有鲁棒性。我们的方法既具有将定制的损失指标纳入其设计的灵活性，又具有Fisher一致性的统计保证。我们提出了精确的学习和预测算法AGM的时间复杂度类似于现有的图形模型，并显示了我们的方法与实验的实际好处。
2018-11-07 cs.AI cs.LG stat.ML
Markov Properties for Graphical Models with Cycles and Latent Variables
我们调查的概率图形模型，允许循环和潜变量。为此，我们引入了超边的有向图（HEDGes），推广和结合了边缘化的有向无圈图（mDAG），可以模拟潜在（因）变量，和有向混合图（DMG），可以模拟周期。我们定义并分析了几个不同的马尔可夫性，相关的图形结构的HEDG与概率分布在相应的积空间上的一组节点，例如因式分解属性，结构方程属性，有序/本地/全球马尔可夫性，和边际版本。当存在圈或超边时，HEDG的各种马尔可夫性通常彼此不等价，这与有向无环图（DAG）模型（也称为贝叶斯网络）的简单情况相反。我们展示了如何对冲的马尔可夫性-从而相应的图形马尔可夫模型-逻辑上相互关联。
2017-10-24 math.ST stat.ME stat.ML
How To Grade a Test Without Knowing the Answers --- A Bayesian Graphical Model for Adaptive Crowdsourcing and Aptitude Testing
Microsoft Research（微软研究院）
我们提出了一个新的概率图形模型，共同模拟问题的难度，参与者的能力和正确的答案，在能力倾向测试和众包设置的问题。我们设计了一个主动学习/自适应测试计划的基础上，贪婪的预期模型熵最小化，它允许一个更有效的资源分配，通过动态选择下一个问题要问的基础上以前的反应。我们目前的实验结果，确认我们的模型推断所需的参数的能力，并证明自适应测试方案需要更少的问题，以获得相同的精度作为一个静态的测试方案。
2012-06-27 cs.AI cs.LG stat.ML
Learning Graphical Models With Hubs
我们考虑学习一个高维图形模型的问题，其中某些枢纽节点高度连接到许多其他节点。许多作者已经研究了使用l1惩罚来学习高维环境中的稀疏图。然而，l1惩罚隐含地假设每条边的可能性相等，并且独立于所有其他边。我们提出了一个通用的框架，以适应更现实的网络与枢纽节点，使用凸公式，涉及行列重叠范数处罚。我们将这个一般框架应用于三个广泛使用的概率图形模型：高斯图形模型，协方差图模型和二进制伊辛模型。采用交替方向乘子法求解相应的凸优化问题。在合成数据上，我们证明了我们提出的框架优于没有明确建模枢纽节点的竞争对手。我们说明我们的建议上的网页数据集和基因表达数据集。
2014-08-09 stat.CO stat.ME stat.ML
Universal Marginalizer for Amortised Inference and Embedding of Generative Models
Babylon Health（巴比伦健康）
概率图模型是强大的工具，它使我们能够形式化我们对世界的知识，并对其固有的不确定性进行推理。存在用于在概率图形模型中执行推断的相当数量的方法;然而，由于显著的时间负担和/或存储要求，它们可能在计算上是昂贵的;或者它们在应用于大规模图形模型时缺乏收敛性和准确性的理论保证。为此，我们提出了通用边缘化器重要性采样器（UM-IS）-一种混合推理方案，结合了在模型样本上训练的深度神经网络的灵活性，并继承了重要性采样的渐近保证。我们展示了如何结合从图形模型中提取的样本与适当的掩蔽函数，使我们能够训练单个神经网络来近似任何相应的条件边际分布，从而摊销推理成本。我们还表明，图嵌入可以应用于任务，如：聚类，分类和解释节点之间的关系。最后，我们在一个大型图（>1000个节点）上对该方法进行了基准测试，结果表明，UM-IS在计算效率方面大大优于基于采样的方法。
2018-11-12 cs.AI cs.LG stat.ML
A Generalized Loop Correction Method for Approximate Inference in Graphical Models
University of Alberta（阿尔伯塔大学）
置信传播（BP）是概率图模型中最流行的推理方法之一。BP保证为树结构返回正确的答案，但对于循环图形模型可能不正确或不收敛。近年来，提出了几种新的基于空腔分布的近似推理算法。这些方法可以通过合并BP消息之间的依赖性来考虑循环的影响。或者，基于区域的近似（导致诸如广义置信传播的方法）通过考虑变量的小集群内的相互作用来改进BP，从而将这些集群内的小循环考虑在内。本文介绍了一种方法，广义环路校正（GLC），受益于这两种类型的环路校正。我们展示了GLC如何与这两个家庭的推理方法，然后提供经验证据表明，GLC有效地工作在一般情况下，可以显着更准确的校正方案。
2012-06-18 cs.AI cs.LG stat.ML
Learning General Latent-Variable Graphical Models with Predictive Belief Propagation
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
学习一般潜变量概率图模型是机器学习和人工智能的一个关键理论挑战。所有以前的方法，包括EM算法和谱算法，面临着严重的限制，在很大程度上限制了它们的适用性，并影响其性能。为了克服这些局限性，在本文中，我们介绍了一种新的配方的消息传递推理连接树命名为预测的信念传播，并提出了一个新的学习和推理算法的基础上，这种配方的一般潜变量图形模型。该算法将硬参数学习问题简化为一系列监督学习问题，并将不同类型的隐图模型的学习统一到一个无局部最优和统计一致的学习框架中.然后，我们给出了我们的算法的正确性的证明，并在合成和真实数据集上的实验表明，我们的算法显着优于EM算法和谱算法，同时也是数量级更快的计算。
2019-11-28 cs.AI cs.LG stat.ML
Graphical models for studying museum networks: the Abbonamento Musei Torino Piemonte
概率图模型是一个强大的工具来表示现实世界的现象，并从数据开始学习网络结构。本文应用图形模型在一个新的框架，研究消费者的选择在博物馆网络驱动的关联规则。该网络由参加都灵皮埃蒙特修道院博物馆计划的博物馆组成，该计划是由都灵首都欧洲协会管理的年度订阅。消费者是持卡人，他们可以进入网络中的所有博物馆一年。我们采用图形模型来突出由持卡人访问行为驱动的博物馆之间的关联。我们使用无向图来研究网络的强度，有向图来突出关联规则中的不对称性。
2016-02-10 stat.AP
