3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for Robust 6D Pose Estimation
Google DeepMind(谷歌DeepMind);MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出3D Neural Embedding Likelihood (3DNEL)概率逆图形学框架,通过结合RGB神经嵌入与深度信息进行6D位姿估计,在保持高性能的同时显著提升了严重遮挡等挑战场景下的鲁棒性。
2023-09-06 cs.CV
A Connection between Feed-Forward Neural Networks and Probabilistic Graphical Models
Dresden University of Technology(德累斯顿工业大学)
计算机视觉中最流行的两种建模范例是前馈神经网络(FFN)和概率图形模型(GM)。在最近的工作中,已经研究了两者之间的各种联系,例如将GM中基于平均场的推理表示为FFN。本文建立了一个新的FFNs和GM之间的联系。我们的关键观察是,任何FFN实现了相应的贝叶斯网络(BN)的某种近似。我们描述了拥有这种联系的各种好处。特别是,它的结果在一个新的学习算法的BN。我们验证了CIFAR-10数据集上的分类问题和魏茨曼马数据集上的二值图像分割所提出的方法。我们表明,统计学习的BN提高性能,同时具有更好的泛化能力,比他们的FFN同行。
2017-10-30 cs.CV cs.LG stat.ML
Compiling Relational Database Schemata into Probabilistic Graphical Models
University of Massachusetts(马萨诸塞大学);Microsoft Research(微软研究院)
在这项工作中,我们提出了一种方法,使用关系数据库模式自动构建贝叶斯图形模型的数据库,而不是需要一个领域的专家来指定的数据的概率依赖关系。此生成的模型包含列的自定义分布、对数据进行聚类的潜在变量以及反映和表示外键链接的因子。实验证明了该模型的准确性和推理的可扩展性的合成和真实世界的数据。
2012-12-05 cs.AI cs.DB cs.LG
Probabilistic Graphical Models in Astronomy
University of Notre Dame(圣母大学)
本文提出利用概率图模型分析天文学数据,揭示宇宙变量间的依赖结构和生成过程,应用于系外行星和宿主恒星研究。
2026-01-23 astro-ph.IM stat.AP
Getting started in probabilistic graphical models
Princeton University(普林斯顿大学);Lewis-Sigler Institute for Integrative Genomics(刘易斯-西格勒综合基因组学研究所)
概率图模型(PGMs)已成为一种流行的工具,用于计算分析的生物学数据在各种领域。但是,它们到底是什么,它们是如何工作的?我们如何使用PGMs来发现生物相关的模式?铂族金属在多大程度上可以帮助我们制定新的假设,在板凳上测试?本文概述了一些答案,并说明了生物模式发现的统计方法背后的主要思想。
2007-11-10 cs.LG physics.soc-ph q-bio.QM
Bringing NeRFs to the Latent Space: Inverse Graphics Autoencoder
Criteo AI Lab(Criteo人工智能实验室);CNRS(法国国家科学研究中心);I3S(信息、信号与智能系统实验室);LASTIG(地理信息科学与技术实验室);Université Gustave Eiffel(Gustave Eiffel大学);IGN-ENSG(法国地理学会-国立地理学校)
提出逆图形自编码器(IG-AE),通过将图像潜在空间与三维场景对齐,实现将NeRF引入潜在空间,提升质量并加速训练与渲染。
2025-02-24 cs.CV
Generalized Permutohedra from Probabilistic Graphical Models
图形模型通过马尔可夫性对条件独立关系进行编码。对于一个无向图,这些条件独立关系可以用一个简单的多面体来表示,称为图结合面体,它可以被构造为标准单形的Minkowski和。有一个类似的多面体的条件独立关系来自一个规则的高斯模型,它可以定义使用多信息或相对熵。对于有向无环图形模型,也为混合图形模型包含无向,有向和双向边,我们给这个多面体的建设,正常球迷的等价,作为Minkowski和拟阵多面体。最后,我们应用这种几何洞察力,通过有向无环图模型构建一个新的基于排序的因果推理搜索算法。
2017-12-07 math.CO math.ST stat.TH
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
PGMax是一个开源Python包,用于(a)轻松地将离散概率图形模型(PGM)指定为因子图;以及(b)在JAX中自动运行高效和可扩展的循环置信传播(LBP)。PGMax支持具有易处理因子的一般因子图,并利用GPU等现代加速器进行推理。与现有的替代方案相比,PGMax获得了更高质量的推理结果,推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互,开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Probabilistic Graphical Models and Tensor Networks: A Hybrid Framework
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Princeton University(普林斯顿大学);X - The Moonshot Factory(X——登月工厂)
我们研究了离散概率建模的两种形式主义之间的对应关系:概率图模型(PGMs)和张量网络(TN),一个强大的模拟复杂量子系统的建模框架。PGM和TN的图形演算表现出许多相似之处,离散无向图形模型(UGM)是TN的特殊情况。然而,更一般的概率TN模型,如玻恩机(BM)采用复值隐藏状态,以产生新形式的概率之间的相关性。虽然表示用于捕获离散概率分布中的结构的新的建模资源,但是这种行为也使得标准PGM工具的直接应用不可能。我们的目标是通过引入一个混合PGM-TN形式主义,集成到PGM模型中的量子相关性的原则性的方式,使用物理动机的概念退相干弥合这一差距。我们首先证明,将退相干应用到整个BM模型将其转换为离散UGM,相反,离散UGM的任何子图都可以表示为退相干BM。这种方法允许一个广泛的家庭的概率TN模型被编码为部分decorescent BM,事实上,我们利用这两个模型家族的代表性的优势相结合。我们通过实验验证了这种混合模型在顺序建模任务中的性能,并确定了我们的方法在现有图形模型应用程序的背景下有前途的用途。
2021-06-29 cs.LG quant-ph stat.ML
Lipschitz Parametrization of Probabilistic Graphical Models
Stony Brook University(石溪大学)
我们证明了几个概率图模型的对数似然是Lipschitz连续的Lp-范数的参数。我们讨论了Lipschitz参数化的几个含义。我们提出了一个上限的Kullback-Leibler分歧,允许理解的方法,惩罚的Lp-范数的参数的差异,最小化的上限。期望的对数似然是由负lp范数下界,这允许理解概率模型的泛化能力。负lp-范数的指数涉及贝叶斯出错率的下界,这表明在依赖度量空间的算法(例如分类、降维、聚类)中使用参数作为特征是合理的。我们的结果不依赖于特定的算法来学习结构或参数。我们展示了活动识别和时间分割的初步结果。
2012-02-14 cs.LG stat.ML
Structure from Duplicates: Neural Inverse Graphics from a Pile of Objects
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
提出SfD框架,利用单张图像中相同物体的重复性作为先验,联合估计6-DoF位姿并逆向推理几何、材质与光照,实现了优于现有方法的3D重建。
2024-01-10 cs.CV
Exact and Approximate MCMC for Doubly-intractable Probabilistic Graphical Models Leveraging the Underlying Independence Model
Department of Statistics Purdue University(普渡大学统计系)
本文提出了一种无需完美或顺序采样器的MCMC方法,用于双重不可计算概率图模型,通过利用底层可计算的独立模型构建无偏蒙特卡洛估计,提升高维下的可扩展性。
2026-03-27 stat.CO stat.ME stat.ML
On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models
Duke University(杜克大学);Meta Inc.(元公司)
针对深度神经网络缺乏明确概率解释的问题,研究构建了与神经网络精确对应的无限树结构概率图模型,证明其前向传播是该结构下的精确推理近似,补充了相关理论并为融合两类模型优势提供了可能。
2025-01-17 cs.LG stat.ML
Copy-composition for Probabilistic Graphical Models
VERSES Research Lab(VERSES研究实验室);Topos Institute(托波斯研究所)
本文为复制复合提供了起源故事,证明贝叶斯网络和因子图分别通过拉推操作和复制复合进行组合,并引入测度核双纤维化以将概率建模推广至依赖类型。
2025-09-24 math.CT math.ST stat.TH
Parametric Modelling of Multivariate Count Data Using Probabilistic Graphical Models
CIRAD(法国农业研究与国际合作组织);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Laboratoire Jean Kuntzmann(让·库茨曼实验室)
多变量计数数据定义为从总体内的抽样中发布的不同类别的项目的数量,其中个体被分组到类别中。多变量计数数据的分析是许多建模问题中经常出现的关键问题,特别是在生物学和生态学(其中数据可以表示与多类型分支过程相关的儿童计数),社会学和计量经济学领域。我们专注于I)识别同时出现的类别,或者相反,相互排斥的类别。这是通过以下方式实现的:识别变量之间的条件独立关系; II)构建与这些关系一致的简约参数模型; III)表征和检验协变量对计数的联合分布的影响。为了实现这些目标,我们提出了一种基于图形概率模型的方法,更具体地说,部分有向无环图。
2013-12-16 cs.LG stat.ME stat.ML
Propagating moments in probabilistic graphical models with polynomial regression forms for decision support systems
本文提出一种基于多项式回归和矩传播的消息传递算法,用于概率图模型中的精确期望效用计算,可扩展应用于能源规划与实时临床决策支持。
2024-05-24 stat.AP stat.ME
Inference in Probabilistic Graphical Models by Graph Neural Networks
Hanyang University(汉阳大学);Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学);University of Toronto(多伦多大学);Uber ATG Toronto(优步先进技术集团多伦多分部);Vector Institute(向量研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
统计推断和准确决策的基本计算是计算任务相关变量的边际概率或最可能状态。概率图模型可以有效地表示这种复杂数据的结构,但执行这些推理通常是困难的。消息传递算法(如置信传播)是在利用图结构的同时在相关变量之间传播证据的自然方式,但当条件依赖图包含循环时,这些算法可能会遇到困难。在这里,我们使用图神经网络(GNNs)来学习解决这些推理任务的消息传递算法。我们首先证明了GNN的架构与推理任务非常匹配。然后,我们通过在一组图形模型上训练GNN来证明这种推理方法的有效性,并表明它们在循环图上的表现大大优于信念传播。我们的消息传递算法从训练集推广到更大的图和具有不同结构的图。
2019-06-27 cs.AI cs.LG stat.ML
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis(泰勒与弗朗西斯出版集团)
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励,而模仿学习试图提取关于专家演示的轨迹的一般知识,即,示威者因为它们中的每一个都有自己的缺点,所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而,许多方法都是启发式的,没有坚实的理论基础。在本文中,我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架,强化学习,{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放(pMDP-MO)。此外,我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架,比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明,我们的框架成功地集成了模仿和强化学习,即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Automatic Backward Filtering Forward Guiding for Markov processes and graphical models
我们将离散和连续时间马尔可夫过程作为构建块到概率图形模型的潜在和观察变量。我们引入自动后向滤波前向引导(BFFG)范例(Mider等人,2021)用于对潜在状态和模型参数的可编程推断。我们的出发点是一个生成模型,一个概率过程动态的前向描述。我们通过模型反向传播观测提供的信息,将生成(前向)模型转换为由数据指导的预条件模型。它近似于实际的条件模型与已知的似然比之间的两个。后向滤波器和测量的前向改变适合于被并入概率编程上下文中,因为它们可以被公式化为一组变换规则。引导生成模型可以被合并在不同的方法中,以有效地对潜在状态和以观测为条件的参数进行采样。我们在各种设置,包括马尔可夫链与离散状态空间,相互作用的粒子系统,状态空间模型,分支扩散和伽玛过程的适用性。
2022-10-31 stat.CO stat.ME
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology(格拉茨工业大学)
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法,据此提出能够自动适应给定模型的自由能近似,并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
Probabilistic Graphical Models on Multi-Core CPUs using Java 8
Norwegian University of Science and Technology(挪威科技大学);Aalborg University(奥尔堡大学)
在本文中,我们讨论了软件设计问题的并行计算智能算法的多核CPU上的发展,使用新的Java 8函数编程功能。特别是,我们专注于概率图形模型(PGMs),并提出了并行化的一系列算法,处理从数据中推断和学习PGMs。即,最大似然估计,重要性采样,和贪婪搜索解决组合优化问题。通过这些具体的例子,我们解决了为PGM定义有效数据结构的问题,并使用Java 8特性对相同大小的数据集进行并行处理。我们还提供了直接的技术来编码并行算法,无缝地利用多核处理器。实验分析,使用我们的开源AMIDST(分析的MassIve数据流)Java工具箱进行,显示了所提出的解决方案的优点。
2016-04-27 cs.AI cs.DC stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT(麻省理工学院)
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布,给定相应的数据集。任意分布的条件独立结构可以表示为无向图(或马尔可夫随机场),但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布,从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的,因为它可以加速推理,改进采样方法,并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接,确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Statistical inference with probabilistic graphical models
École Normale Supérieure(巴黎高等师范学院);Université Paris Diderot(巴黎狄德罗大学);Tokyo Institute of Technology(东京工业大学);Massachusetts Institute of Technology(麻省理工学院)
这些是Devavrat Shah在秋季学校“统计物理,优化,推理和消息传递算法”的演讲笔记,该讲座于2013年9月30日星期一在法国Les Houches举行,直到2013年10月11日星期五。该学校由UPMC和ENS Paris的Florent Krzakala,La Sapienza Roma的Federico Ricci-Tersenghi,CEA Saclay和CNRS的Lenka Zdeborova以及Politecnico Torino的Riccardo Zecchina组织。Devavrat Shah(麻省理工学院)的这个讲座涵盖了推理和学习的基础知识。它解释了推理问题如何在称为图形模型的结构中表示。然后解释和推导了置信传播算法的理论基础。这堂课为消息传递算法的推广和应用做好准备。
2014-09-17 cs.LG stat.ML
Probabilistic graphical model based approach for water mapping using GaoFen-2 (GF-2) high resolution imagery and Landsat 8 time series
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院);University of California, Berkeley(加州大学伯克利分校);Joint Center for Global Change Studies(全球变化研究联合中心)
本文的目的是评估高分二号(GF-2)高分辨率多光谱传感器(MS)和全色(PAN)图像在水测绘中的潜力。高分辨率数据水体制图的难点包括:1)水体与阴影或其他低反射率地物的误分类,这主要是由给定波段范围内的光谱相似性引起的; 2)水体尺寸小于MS图像空间分辨率的小水体。为了解决水和低反射率物体之间的混淆问题,增加了具有两个短波红外(SWIR)波段的Landsat 8时间序列,因为水在SWIR中具有极强的吸收。为了整合三个多传感器,多分辨率的数据集,概率图形模型(PGM)在这里使用的条件概率分布定义主要基于每个对象的大小。为了比较,从PCA融合和MS数据的SVM分类器,PAN图像上的阈值化方法,和Landsat数据上的水指数方法的结果进行了计算。计算了所有方法的混淆矩阵。结果表明,PGM方法可以实现最佳的性能与最高的整体精度。此外,还可以通过在PGM中的PAN结果上添加权重来提取小河流。最后,后的分类过程中应用的PGM结果,以进一步排除在阴影和水陆边界区域的错误分类。因此,生产者的,用户的和整体的准确性都增加了,表明我们的方法的有效性。
2016-12-22 cs.CV stat.AP
Global sensitivity analysis in probabilistic graphical models
School of Human Sciences & Technology, IE University(IE大学人文科学与技术学院)
我们展示了如何应用Sobol的全局敏感性分析方法来衡量一组节点的证据对贝叶斯网络所表达的兴趣量的影响。该方法利用网络结构,将Sobol指数估计问题转化为边缘化推理问题。通过这种方式,我们可以有效地计算网络的指数,其中基于方差的敏感性分析的基于蛮力或蒙特卡罗的估计量需要数百万个昂贵的样本。此外,我们的方法给出了精确的结果时,使用精确的推理,也支持相关输入的情况下。该算法的灵感来自于张量网络领域,并将早期的张量灵敏度技术从非循环推广到循环情况。我们展示了三个中型到大型贝叶斯网络,涵盖项目风险管理和可靠性工程领域的方法。
2021-10-07 cs.AI cs.LG stat.ML
A probabilistic graphical model approach in 30 m land cover mapping with multiple data sources
State Key Laboratory of Remote Sensing Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences(中国科学院遥感与数字地球研究所遥感科学国家重点实验室);Ministry of Education Key Laboratory for Earth System Modeling, Center for Earth System Science, Tsinghua University(清华大学地球系统科学研究中心地球系统模拟教育部重点实验室)
目前的趋势是使用多源分类方法获得高精度的土地覆盖图,其中大多数方法是基于数据融合,特别是像素或特征级融合。本文提出了一种利用多时相Landsat和中分辨率成像光谱仪(MODIS)数据进行30 m分辨率土地覆盖制图的概率图模型(PGM)方法。独立的分类器被应用到两个单日期Landsat 8场景和MODIS时间序列数据,分别进行概率估计。为Landsat 8数据中的每个像素创建了PGM。通过选择性地使用信息,基于数据质量和可靠性计算条件概率分布。以北京市行政区域(区域1)和山东省沿海地区(区域2)为研究区域,生成多幅土地覆盖图进行比较。定量结果表明了该方法的有效性。整体精度从74.0%(地图获得的单时Landsat图像)提升到81.8%(输出的PGM)的区域-1。当使用中分辨率成像分光仪数据和只有一个单一的时间陆地卫星图像作为输入时,也可以看到改进(总体精度:78.4%对74.0%的区域1,86.8%对83.0%的区域2)。当PGM应用于无云地区时,来自MODIS数据的信息没有多大帮助。所提出的方法的优点之一是,它可以应用于多时相数据不能简单地堆叠为一个多层图像。
2016-12-11 cs.CV stat.AP
Fast Wasserstein rates for estimating probability distributions of probabilistic graphical models
National University of Singapore(新加坡国立大学);University of Tübingen(蒂宾根大学)
本文研究了利用独立同分布数据在Wasserstein距离下估计高维分布时,如何通过概率图模型的结构知识克服维度诅咒,证明了局部图结构对估计速率的影响,以及不同光滑条件下的精确速率结果。
2026-05-21 math.PR math.ST stat.TH
Markov Chains on Orbits of Permutation Groups
Universität Mannheim(曼海姆大学)
我们提出了一种新的方法来检测和利用概率图形模型的对称性有两个主要贡献。首先,我们提出了一个可扩展的方法来计算代表对称性的图形模型的置换群的生成集。其次,我们引入轨道马尔可夫链,一个新的家庭马尔可夫链利用模型的对称性,以减少混合时间。我们建立了一个有见地的模型对称性和快速混合轨道马尔可夫链之间的连接。因此,我们提出了第一个提升MCMC算法的概率图模型。分析和实证结果表明,该方法的有效性和效率。
2012-06-28 cs.AI math.CO stat.CO
From probabilistic graphical models to generalized tensor networks for supervised learning
Max-Planck-Institut für Quantenoptik(马克斯·普朗克量子光学研究所);Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心(MCQST))
张量网络在物理学和计算机科学的各种应用中得到了广泛的应用,最近导致了机器学习中的理论见解和实用算法。在这项工作中,我们探索张量网络和概率图形模型之间的联系,并表明它激发了广义张量网络的定义,其中张量的信息可以在网络的其他部分复制和重用。我们讨论了量子物理中使用的广义张量网络架构(如弦键态)与机器学习中常用的架构之间的关系。我们提供了一个算法,训练这些网络在监督学习的背景下,并表明他们克服了常规张量网络在更高的维度的局限性,同时保持计算效率。还介绍了一种将神经网络和张量网络结合起来作为通用深度学习架构的一部分的方法。我们基准测试我们的算法的几个广义张量网络架构的分类图像和声音的任务,并表明它们优于以前介绍的张量网络算法。我们考虑的模型也可以在量子计算机上自然实现,并可能指导近期量子机器学习架构的开发。
2019-12-03 cond-mat.str-el cs.LG quant-ph
On resampling vs. adjusting probabilistic graphical models in estimation of distribution algorithms
Federal University of Technology - Paraná (UTFPR)(联邦理工大学-巴拉那州(UTFPR));The University of Adelaide(阿德莱德大学);Aalborg University(奥尔堡大学)
贝叶斯优化算法(BOA)是一种使用贝叶斯网络作为概率图模型(PGM)的分布估计算法(EDA)。在给定解样本的情况下,确定最优贝叶斯网络结构是一个NP难问题。这个步骤应该在BOA的每次迭代中完成,这是一个非常耗时的过程。出于这个原因,大多数实现使用贪婪估计算法,如K2。然而,我们在本文中表明,PGM结构的显着变化并不经常发生,并且在进化结束时可能特别稀疏。因此,BOA的统计研究提出了一种模式的PGM调整,可以作为一个指导,以减少在进化过程中的PGM更新的频率。这是通过提出一种新的基于BOA的优化方法(FBOA),其PGM在每次迭代时都不更新来实现的。这种新方法避免了标准BOA中通常存在的计算负担。结果比较两种算法的性能NK景观优化问题使用的耐用性和预期的运行时间之间的相关性枚举的实例。实验表明,FBOA提出了竞争力的结果,同时显着节省计算时间。
2019-02-15 cs.AI cs.LG stat.ML
Incorporating structured assumptions with probabilistic graphical models in fMRI data analysis
The University of Tokyo(东京大学);Princeton University(普林斯顿大学);Facebook Reality Labs(Facebook现实实验室);Columbia University(哥伦比亚大学);Intel Corporation(英特尔公司)
近年来,随着功能磁共振成像(fMRI)被认知神经科学研究者广泛采用,积累了大量的脑成像数据。聚合这些数据以获得科学见解通常面临的挑战是,fMRI数据是高维的、跨人群的异构的并且有噪音。这些挑战要求开发针对神经科学问题和数据属性的计算工具。我们回顾了几个最近开发的算法在各个领域的功能磁共振成像研究:功能磁共振成像在自然主义的任务,分析全脑功能连接,模式分类,推断代表性的相似性和建模结构化残差。这些算法都以类似的方式解决了fMRI中的挑战:它们首先对神经数据和现有领域知识的假设做出明确的陈述,将这些假设和领域知识纳入概率图模型,并使用这些模型来估计数据中感兴趣的属性或潜在结构。这样的方法可以避免错误的发现,减少噪音的影响,更好地利用数据的已知属性,并更好地跨受试者组聚合数据。通过这些成功的案例,我们提倡在认知神经科学中更广泛地采用外显模型构建。虽然我们专注于功能磁共振成像,这里说明的原则是普遍适用于其他形式的大脑数据。
2020-05-29 cs.LG q-bio.NC stat.AP
Probabilistic Graphical Modeling approach to dynamic PET direct parametric map estimation and image reconstruction
在动态发射断层扫描的背景下,传统的处理流水线由单个时间帧的独立图像重建组成,然后在体素或感兴趣区域水平上将合适的动力学模型应用于时间活动曲线(TAC)。相比之下,相对较新的4D PET直接重建领域试图超越该方案,并将来自多个时间帧的信息纳入重建任务中。现有的4D直接模型基于体素的TAC的确定性描述,由所选择的动力学模型捕获,考虑光子计数过程是唯一的不确定性来源。在这项工作中,我们引入了一个新的概率建模策略的基础上的关键假设,即活动的时间过程将受到不确定性,即使底层的动态过程的参数是已知的。这导致了一个分层贝叶斯模型,我们制定使用概率图建模(PGM)的形式主义。利用一种新的基于梯度的迭代算法对PGM的联合概率密度函数进行了推导,与现有的直接方法相比,该算法具有以下优点:对线性和非线性动力学模型的任意选择具有灵活性;它更易于实现并且适合于集成到用于机器学习的计算框架中。计算机模拟和应用到真正的病人扫描表明,所提出的方法如何使我们能够加权的动力学模型的重要性,间接和确定性的直接方法之间提供了一个桥梁。
2018-08-24 physics.data-an physics.med-ph stat.AP
Probabilistic Numerical Methods for PDE-constrained Bayesian Inverse Problems
本文发展了概率描述偏微分方程数值解中离散误差的无网格方法。这种结构使贝叶斯逆问题的解决方案,同时考虑到正向问题的离散化的影响。特别地,这使得统计推断在存在显著求解器误差的情况下更加保守。理论结果描述的收敛速度的后验的正问题和反问题。该方法是一个具有挑战性的反问题与非线性正演模型进行测试。
2017-01-15 cs.NA math.NA math.ST
Kalman filter demystified: from intuition to probabilistic graphical model to real case in financial markets
A.I. SQUARE CONNECT;LAMSADE;Paris Dauphine University(巴黎多芬大学);Université Paris Dauphine(巴黎多芬大学)
在本文中,我们重新审视卡尔曼滤波理论。在给出了一个简化的金融市场例子的直观性之后,我们重新审视了它背后的数学基础。然后,我们展示了卡尔曼滤波器可以用一种非常不同的方式来表示,使用图形模型。这使我们能够建立卡尔曼滤波器和隐马尔可夫模型之间的联系。然后,我们看看他们在金融市场的应用,并提供各种直观的复杂系统,如金融市场的适用性。虽然本文写得更像是一个自包含的工作,将卡尔曼滤波器连接到隐马尔可夫模型,因此重新访问了众所周知的和建立的结果,它包含了新的结果,并为该领域带来了额外的贡献。首先,利用卡尔曼滤波和隐马尔可夫模型之间的联系,给出了扩展卡尔曼滤波的新的推理算法。其次,由于使用了CMA-ES优化,它提出了一种替代传统的参数估计使用EM算法。第三,研究了卡尔曼滤波器及其隐马尔可夫模型在金融市场中的应用,提供了各种动态假设和测试。最后,我们将卡尔曼滤波方法与趋势跟踪技术分析系统相结合,展示了它们在趋势跟踪检测方面的优越性能。
2018-12-13 cs.LG q-fin.ST stat.ML
How do Probabilistic Graphical Models and Graph Neural Networks Look at Network Data?
Department of Physics and Astronomy, University of Bologna(博洛尼亚大学物理与天文学系);Max Planck Institute for Intelligent Systems, Cyber Valley(智能系统马克斯·普朗克研究所,Cyber Valley);Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology(代尔夫特理工大学电子工程、数学与计算机科学学院)
本文通过链路预测任务比较概率图模型与图神经网络,发现PGMs在低维或噪声特征及高异质性图下更鲁棒,并进一步从计算复杂性和可解释性方面对比了两类框架。
2025-08-22 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Probabilistic Graphical Models for Credibility Analysis in Evolving Online Communities
Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所);Universität des Saarlandes(萨尔大学)
妨碍充分利用在线社区信息的主要障碍之一是对用户贡献内容的质量和可信度的普遍关切。该领域的先前工作基于社区的静态快照进行操作,对数据的结构做出强有力的假设(例如,关系表),或者仅考虑用于文本分类的浅特征。为了解决上述局限性,我们提出了概率图形模型,可以利用在线社区中的多个因素之间的联合相互作用-如用户交互,社区动态和文本内容-自动评估用户贡献的在线内容的可信度,以及用户的专业知识及其演变与用户可解释的解释。为此,我们设计了基于条件随机场的新模型,用于不同的设置,如将部分专家知识用于半监督学习,并处理离散标签以及细粒度分析的数字评级。这使得应用程序能够从健康论坛中的用户贡献的帖子中提取可靠的药物副作用,并识别新闻社区中的可信内容。在线社区是动态的,随着用户的加入和离开,适应不断变化的趋势,并随着时间的推移而成熟。为了捕捉这种动态,我们提出了基于隐马尔可夫模型,潜在狄利克雷分配和布朗运动的生成模型,以跟踪用户专业知识及其语言模型随时间的不断演变。这使我们能够识别专家用户和可信的内容随着时间的推移,提高国家的最先进的推荐系统,明确考虑用户的成熟度。这也使应用程序,如识别有用的产品评论,并检测虚假和异常评论与有限的信息。
2017-07-26 cs.AI cs.CL cs.IR
Model Uncertainty and Correctability for Directed Graphical Models
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Johns Hopkins University(约翰斯·霍普金斯大学)
概率图模型是概率建模、机器学习和人工智能的基本工具。它们使我们能够以自然的方式集成专家知识,物理建模,异构和相关数据以及感兴趣的数量。正是由于这个原因,模型不确定性的多个来源是图形模型的模块化结构中固有的。在本文中,我们开发了信息理论,强大的不确定性量化方法和非参数压力测试有向图模型,以评估多源模型的不确定性的影响和传播通过图感兴趣的数量。这些方法使我们能够对不同的不确定性来源进行排名,并通过针对感兴趣的数量来校正图形模型中最具影响力的组件。因此,从机器学习的角度来看,我们提供了一个数学上严格的方法来纠正,保证系统的选择,以改善组件的图形模型,同时控制潜在的新的错误,在该过程中创建的其他部分的模型。我们证明了我们的方法在两个物理化学的例子,即量子尺度通知化学动力学和材料筛选,以提高燃料电池的效率。
2021-07-17 cs.IT cs.LG math.IT
Probabilistic inverse reinforcement learning in unknown environments
EPAC(阿波美-卡拉维高等应用科学与技术学院);EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。为了做到这一点,我们扩展了以前的概率方法,在已知的MDP的情况下,未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完整的贝叶斯推断。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习,有知识的动态。
2013-07-14 cs.LG stat.ML
Probabilistic Graphical Model using Graph Neural Networks for Bayesian Inversion of Discrete Structural Component States
Key Lab of Smart Prevention and Mitigation of Civil Engineering Disasters of the Ministry of Industry and Information Technology(工信部智能防灾减灾重点实验室);Harbin Institute of Technology(哈尔滨工业大学);Key Lab of Structures Dynamic Behavior and Control of the Ministry of Education, School of Civil Engineering, Harbin, Institute of Technology(教育部结构动力行为与控制重点实验室,土木工程学院);The Institute of Statistical Mathematics, Research Organization of Information and Systems(统计数学研究所,信息与系统研究机构);The Graduate University for Advanced Studies, SOKENDAI(高等研究大学,SOKENDAI);Division of Engineering and Applied Science, California Institute of Technology(工程与应用科学系,加州理工学院)
本文提出基于概率图模型的新型贝叶斯反演方法,利用图神经网络实现高效离散状态推断,解决高维参数和非解析似然函数带来的计算挑战。
2026-04-29 cs.LG stat.ME stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。要做到这一点,我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完全贝叶斯推理。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Probabilistic Numerical Methods for Partial Differential Equations and Bayesian Inverse Problems
本文发展了一种求解偏微分方程的概率数值方法,并研究了该方法在偏微分方程约束反问题中的应用。这种方法使具有挑战性的反问题的解决方案,同时会计,在统计原则的方式,由于PDE的数值解的离散化误差的影响。特别是,该方法赋予数值PDE求解器的故障鲁棒性,在存在大量离散化误差的情况下,统计推断被驱动为更保守。更进一步,选择偏微分方程求解器的问题被视为贝叶斯实验设计中的一个问题,其目的是最大限度地减少求解器误差对统计推断的影响;这里还考虑了非线性偏微分方程的挑战。该方法适用于参数推断问题,其中离散化误差不可忽略,必须考虑到,以达到统计上有效的结论。
2017-07-11 cs.NA math.NA math.ST
Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection
高斯图形模型用于确定变量之间的条件关系。这是通过识别逆协方差阵中非零的非对角元素来实现的。当变量(p)与观测值(n)之比接近1时,协方差阵的极大似然估计量变得不稳定,需要收缩估计。虽然已经引入了几种经典(频率论)方法来解决这个问题,但完全贝叶斯方法在实践和方法学文献中仍然相对罕见。在这里,我们介绍了一种估计稀疏矩阵的贝叶斯方法,其中的条件关系确定与投影预测选择。该方法利用库尔贝克-莱布勒散度和交叉验证进行邻域选择,在低维和高维环境下重建逆协方差阵。通过模拟和应用示例,我们将性能与几种贝叶斯方法和图形套索以及TIGER进行了比较,TIGER类似地使用回归估计逆协方差阵。我们的研究结果表明,投影预测选择不仅具有优越的性能相比,选择最可能的模型和贝叶斯模型平均,特别是对于高维数据,而且相比贝叶斯和经典glasso方法。此外,我们表明,估计逆协方差阵与多元回归往往是更准确的,相对于各种损失函数,和效率比直接估计。在低维环境中,我们证明了投影预测选择也提供了有竞争力的性能。我们在R软件包GGMprojpred中实现了协方差选择的投影预测方法
2018-08-04 stat.AP stat.ME
Identification of oscillatory brain networks with Hidden Gaussian Graphical Spectral models of EEG/MEG
针对 EEG/MEG 逆问题中功能网络模型设定错误导致的连接估计偏差,提出贝叶斯 HIGGS 模型识别振荡脑网络,并在模拟与猕猴同步 EEG/ECoG 实验中显著优于现有方法。
2022-10-25 q-bio.NC stat.ME
Towards Sampling from Nondirected Probabilistic Graphical models using a D-Wave Quantum Annealer
Mississippi State University(密西西比州立大学)
具有2048个量子比特晶格的D-Wave量子退火器(QA),没有丢失的量子比特和耦合,允许嵌入受限玻尔兹曼机(RBM)的完整图。具有8 × 7像素可见单位的手写数字OptDigits数据集用于使用经典对比发散训练RBM。将经典训练的RBM嵌入到D-Wave网格中用于证明QA提供了经典马尔可夫链蒙特卡罗(MCMC)的高效替代方案,用于重建测试图像的缺失标签以及生成模型。在任何训练迭代中,基于D-Wave的分类的分类误差比MCMC低两倍以上。本研究的主要目的是调查从RBM模型分布的样本的质量,并将其与经典MCMC样本进行比较。对于OptDigits数据集,与MCMC样本相比,D-Wave样本中的状态属于大约两倍的局部谷。MCMC样本中的所有最低能量(最高联合概率)局部极小值也被D-Wave发现。D波错过了许多高能量的局部山谷,同时发现了许多MCMC一直错过的“新”局部山谷。据建立的“新的”局部谷,D波发现是重要的模型分布在相应的局部极小值的能量,局部谷的宽度,和逃逸势垒的高度。
2019-05-01 cs.LG quant-ph stat.ML
Gaussian graphical models with graph constraints for magnetic moment interaction in high entropy alloys
高熵合金中磁矩的相互作用对材料科学中高熵合金的设计具有重要的指导意义。虽然第一原理模拟可以捕捉单个原子的磁矩,但需要明确的模型来分析它们的相互作用。这实质上是一个逆协方差阵估计问题。与大多数关于图形模型的文献不同,逆协方差阵具有固有的结构约束,包括节点类型、节点的拓扑距离和部分指定的条件依赖模式。据我们所知,本文是第一个考虑图形模型中这种复杂结构的文章。特别是,我们引入图形约束,制定这些结构,从领域知识和可解释性是至关重要的,这导致了贝叶斯条件自回归模型与图形约束(CARGO)的结构化逆协方差阵。CARGO方法享有有效的实施与修改后的高斯-赛德尔计划通过接近算子的封闭形式后探索。我们建立算法收敛性的算法下,一个可验证的停止标准。仿真结果表明,相对于其他几种方法的竞争力的表现,货物和确认我们的收敛性分析。在一个新的实际数据应用HEAs,所提出的方法导致数据驱动的量化和解释的磁矩相互作用具有高度的可处理性和可转移性。
2021-05-11 stat.ME
Uncertainty quantification for Markov Random Fields
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
提出了一种基于信息的一般马尔可夫随机场不确定性量化方法。马尔可夫随机场(MRF)是无向图上的结构化概率图模型,并且为统计力学、概率机器学习和人工智能提供基本的统一建模工具。通常,MRF是复杂且高维的,其中节点和边(连接)以模块化的方式从更简单的低维概率模型及其本地连接中构建;反过来,这种模块化允许将可用数据合并到MRF中,并通过利用其图论结构来有效地模拟它们。从数据中学习图形模型和/或从物理建模和约束中构建图形模型必然涉及从数据、建模选择或数值近似中继承的不确定性。MRF中的这些不确定性可以在图结构或概率分布函数中表现出来,并且必然会在对感兴趣的量的预测中传播。在这里,我们量化这样的不确定性,使用紧密的,基于信息的边界上的预测量的利益,这些边界利用的图形结构的MRF和能够处理固有的高维图形模型。我们证明了我们的方法在医疗诊断和统计力学模型的MRF。在后者中,我们开发了有限尺寸效应和相图的不确定性量化界限,这构成了统计力学建模的两个典型预测目标。
2021-07-17 cs.IT cs.LG math.IT
Understanding the Behavior of Belief Propagation
Graz University of Technology(格拉茨技术大学)
概率图模型是建模高维分布的一个强大的概念。除了对分布建模之外,概率图模型还为执行统计推断提供了一个优雅的框架;然而,由于高维性质,人们必须经常使用近似方法来实现这一目的。信念传播执行近似推理,是有效的,并回顾了一个很长的成功故事。然而,在大多数情况下,信念传播缺乏任何性能和收敛保证。许多现实的问题,提出了图形模型与循环,但是,在这种情况下,既不能保证置信传播提供准确的估计,也不能保证它收敛。本文研究了模型参数对置信传播性能的影响。我们特别感兴趣的是它们对(i)不动点的数目,(ii)收敛性,和(iii)逼近质量的影响。
2022-09-05 cs.AI cs.LG stat.ML
Consistency of Graphical Model-based Clustering: Robust Clustering using Bayesian Spanning Forest
University of Florida(佛罗里达大学)
本文研究了基于图模型的聚类一致性问题,通过贝叶斯生成森林方法在数据生成过程偏离假设图模型时仍能获得一致聚类结果,包括聚类数估计。
2026-05-13 math.ST stat.TH
Thinking in Blender: Staged Executable Inverse Graphics with Vision-Language Models
Cornell University(康奈尔大学)
提出分阶段可执行逆向图形(SEIG)框架,利用预训练视觉语言模型直接从单张图像重建可编辑的Blender程序,无需专用基础模型或可微渲染,通过逐步细化几何、材质、组合和光照提升重建保真度。
2026-06-01 cs.CV
A Neural-Symbolic Architecture for Inverse Graphics Improved by Lifelong Meta-Learning
Institute for Applied Computer Science Bundeswehr University Munich(慕尼黑联邦国防军大学应用计算机科学研究所)
我们遵循的想法,制定视觉作为逆图形,并提出了一种新的类型的元素,这项任务,一个神经象征胶囊。它能够将场景去渲染为语义信息前馈,以及渲染它的反馈。从生成语法中获得用于图形基元的胶囊的初始集合,并将其连接到完整的胶囊网络中。终身元学习通过为它使用少样本学习在场景中检测到的新的和更复杂的对象添加胶囊来不断提高该网络的检测能力。初步结果证明了我们新方法的潜力。
2019-09-05 cs.CV
Differentiable Shadow Mapping for Efficient Inverse Graphics
TU Berlin(柏林工业大学)
针对三角形网格可微分渲染的阴影生成问题,提出将预滤波阴影映射与现有可微分光栅化器结合的方法,在逆向图形任务中实现了精度相当、速度快数个数量级的效果,解决了无阴影可微分光栅化难收敛的问题。
2023-08-21 cs.CV cs.GR
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学);Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
微分渲染为训练神经网络执行“逆图形”任务铺平了道路,例如从单目照片预测3D几何形状。为了训练高性能的模型,大多数当前的方法依赖于在实践中不容易获得的多视图图像。相比之下,最近合成图像的生成对抗网络(GANs)似乎在训练过程中隐式地获得了3D知识:可以通过简单地操纵潜在代码来操纵对象视点。然而,这些潜在代码通常缺乏进一步的物理解释,因此GANs不能轻易地被反转以执行显式3D推理。在本文中,我们的目标是通过利用可微渲染器提取和解开生成模型学习的3D知识。我们方法的关键是利用GANs作为多视图数据生成器,使用现成的可微分渲染器训练逆图形网络,并将训练的逆图形网络作为教师,将GAN的潜在代码分解为可解释的3D属性。整个架构使用循环一致性损失迭代地训练。我们表明,我们的方法在定量和用户研究方面都显着优于在现有数据集上训练的最先进的逆图形网络。我们进一步展示了解开GAN作为一个可控的3D“神经渲染器”,补充传统的图形渲染器。
2021-04-20 cs.CV cs.LG
Re-Thinking Inverse Graphics With Large Language Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学)
提出IG-LLM框架,利用大型语言模型将视觉嵌入自回归解码为结构化3D场景表示,无需图像空间监督即可实现逆向图形学,为精确空间推理提供新可能。
2024-08-24 cs.CL cs.CV
LayoutDiffusion: Improving Graphic Layout Generation by Discrete Diffusion Probabilistic Models
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
本文提出 LayoutDiffusion,将布局生成建模为离散去噪扩散过程,并通过分块转移矩阵与分段线性噪声调度实现温和前向过程,在 RICO 和 PubLayNet 上显著超越现有方法,还支持即插即用的条件生成。
2023-08-15 cs.CV