DiffSSC: Semantic LiDAR Scan Completion using Denoising Diffusion Probabilistic Models
Autonomous Intelligent Systems group, Computer Science Institute VI – Intelligent Systems and Robotics – and the Center for Robotics and the Lamarr Institute for Machine Learning and Artificial Intelligence, University of Bonn, Germany（自主智能系统组，计算机科学研究所VI——智能系统与机器人——和机器人中心以及拉马尔人工智能与机器学习研究所，波恩大学，德国）
本文提出DiffSSC，利用去噪扩散概率模型在点云和语义空间分别进行加噪去噪，以语义激光雷达点云为条件输入并设计正则化损失，实现语义场景补全，在自动驾驶数据集上达到最先进性能。
2025-08-02 cs.AI cs.CV cs.RO
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
FunFact: Building Probabilistic Functional 3D Scene Graphs via Factor-Graph Reasoning
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；University of Bonn & Lamarr Institute（波恩大学与拉马尔研究所）
FunFact通过因子图推理构建概率性功能3D场景图，结合语义和几何先验，提升场景功能理解的鲁棒性与准确性。
2026-04-04 cs.CV
Online Learning of a Probabilistic and Adaptive Scene Representation
Peking University（北京大学）；PKU-SenseTime Machine Vision Joint Lab（北京大学-商汤科技机器视觉联合实验室）
实时构建和维护一致的场景模型是在线空间感知、解释和行动的核心任务。在本文中，我们表示的场景与贝叶斯非参数混合模型，无缝地描述每个点的占用状态与连续的概率密度函数。而不是按照传统的数据融合范例，我们解决的问题，在线学习的过程中如何从场景几何生成连续的点云数据。一个增量和并行推理进行实时更新的参数空间。我们的实验表明，所提出的表示达到国家的最先进的精度与有前途的效率。一致的概率公式确保生成模型，是适应不同的传感器特性，模型的复杂性可以动态调整的飞行根据不同的数据规模。
2021-03-31 cs.CV
Unsupervised and interpretable scene discovery with Discrete-Attend-Infer-Repeat
University of Cambridge（剑桥大学）
在这项工作中，我们提出了离散注意推断重复（离散空气），一个经常性的自动编码器与结构化的潜在分布包含离散分类分布，连续属性分布，和分解空间注意。离散空气模型的灵感来自于原始空气模型和保留空气模型的能力，在识别图像中的对象，离散空气提供了直接解释的潜在代码。我们表明，对于多MNIST和多对象版本的dSprites数据集，离散空气模型只需要一个分类的潜在变量，一个属性变量（仅适用于多MNIST），以及空间注意力变量，有效的推理。我们进行分析表明，学习的分类分布有效地捕捉多MNIST和多精灵的场景中的对象的类别。
2019-03-14 cs.CV cs.LG stat.ML
Probabilistic Implicit Scene Completion
Seoul National University（首尔国立大学）
我们提出了一个概率形状完成方法扩展到连续几何的大规模三维场景。3D场景的真实世界扫描遭受大量丢失的数据，这些数据与未分割的对象混杂在一起。形状补全问题本质上是不适定的，高质量的结果需要考虑多种可能结果的可扩展解决方案。我们采用生成元胞自动机，学习多模态分布，并将公式转换为处理大规模连续几何。局部连续形状被增量地生成为稀疏体素嵌入，其包含每个被占用单元的潜在代码。我们正式推导出我们的稀疏体素嵌入的训练目标最大化完整形状分布的变分下界，因此我们的渐进生成构成了一个有效的生成模型。实验表明，我们的模型成功地生成了各种可信的场景，忠实于输入，特别是当输入遭受大量的丢失数据。我们还证明，我们的方法优于确定性模型，即使在不太模糊的情况下，有少量的丢失数据，这推断概率公式是高质量的几何完成输入扫描表现出任何程度的完整性至关重要。
2022-04-04 cs.CV
Morphology on categorical distributions
University of Copenhagen（哥本哈根大学）；QIM - Center for Quantification of Imaging Data from MAX IV（MAX IV 成像数据量化中心（QIM））
分类分布是多类分割中不确定性的自然表示。在两类的情况下，分类分布减少到伯努利分布，灰度形态学提供了一系列有用的操作。在一般情况下，对不确定的多类分割应用形态学运算并不简单，因为分类分布的图像不是完整的格。虽然彩色图像的形态学得到了广泛的关注，这是不是这样的颜色编码或分类的图像，甚至更少的分类分布的图像。在这项工作中，我们建立了一套要求的形态学分类分布相结合的经典形态学的概率视图。然后，我们定义运营商尊重这些要求，介绍保护操作的分类分布，并说明这些运营商的效用在两个示例任务：建模注释器偏见脑肿瘤分割和分割囊泡实例从多类U-网的预测。
2022-01-09 cs.CV
PNeRF: Probabilistic Neural Scene Representations for Uncertain 3D Visual Mapping
I3S-CNRS（I3S-法国国家科学研究中心）；Université Cote d’Azur（蔚蓝海岸大学）
近年来，神经场景表示在三维场景的可视化方面取得了令人瞩目的成果，但其研究和进展主要局限于计算机图形学中虚拟模型的可视化和计算机视觉中场景的重建，而没有明确考虑传感器和姿态的不确定性。然而，在机器人应用中使用这种新颖的场景表示将需要考虑神经映射中的这种不确定性。因此，本文的目的是提出一种新的方法，用于训练{ \em概率神经场景表示}与不确定的训练数据，可以使这些表示在机器人应用中的列入。使用相机或深度传感器获取图像包含固有的不确定性，此外，用于学习3D模型的相机姿势也是不完美的。如果这些测量用于训练而不考虑其不确定性，则所得模型是非最佳的，并且所得场景表示可能包含诸如模糊和不均匀几何结构的伪影。在这项工作中，不确定性集成到学习过程中的问题进行了研究，通过集中在训练与不确定性信息的概率方式。所提出的方法涉及显式地增加与不确定性项的训练可能性，使得学习的网络的概率分布最小化相对于训练的不确定性。它将被证明，这导致更准确的图像渲染质量，除了更精确和一致的几何形状。在合成数据集和真实数据集上进行了验证，表明所提出的方法优于最先进的方法。实验结果表明，即使在训练数据有限的情况下，该方法也能绘制出新颖的高质量视图。
2022-09-23 cs.CV
Not Only Look But Observe: Variational Observation Model of Scene-Level 3D Multi-Object Understanding for Probabilistic SLAM
Automation and Systems Research Institute, Seoul National University（首尔国立大学自动化与系统研究所）
我们提出了NOLBO，变分观测模型估计三维多目标从二维Single Shot。以往的概率实例级理解主要考虑的是单目标图像，而不是多目标的Single Shot，对象与整个场景之间的关系没有得到关注。每个观察的客观性也很难加入他们的模型。因此，我们提出了一种方法来近似贝叶斯观察模型的场景级三维多目标理解。通过利用变分自动编码器（VAE），我们从整个场景中估计潜变量，这些潜变量遵循易处理的分布，同时暗示3D完整的形状和姿态。为了进行面向对象的数据关联和概率同时定位与地图构建（SLAM），我们的观测模型可以很容易地通过用潜在变量替换面向对象的特征来进行概率推理。
2020-02-04 cs.CV cs.RO
3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for Robust 6D Pose Estimation
Google DeepMind（谷歌DeepMind）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出3D Neural Embedding Likelihood (3DNEL)概率逆图形学框架，通过结合RGB神经嵌入与深度信息进行6D位姿估计，在保持高性能的同时显著提升了严重遮挡等挑战场景下的鲁棒性。
2023-09-06 cs.CV
DP-DeGauss: Dynamic Probabilistic Gaussian Decomposition for Egocentric 4D Scene Reconstruction
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；Nvidia（英伟达）
本文提出DP-DeGauss方法，通过动态概率高斯分解实现眼动4D场景重建，解决动态第一视角场景重建中的复杂运动、遮挡和手-物体交互问题，实现背景、手部和物体的解耦。
2026-04-09 cs.CV
Probabilistic Debiasing of Scene Graphs
Rensselaer Polytechnic Institute（伦斯勒理工学院）
由于关系及其父对象对的长尾性质，最先进的（SOTA）模型生成的场景图的质量受到损害。场景图的训练由多数对的多数关系主导，因此，在训练收敛后，少数对中的关系的对象条件分布不被保留。因此，有偏模型在关系的边缘分布中的更频繁的关系上表现良好，如“on”和“wearing”，而在不太频繁的关系上表现不佳，如“eating”或“hanging from”。在这项工作中，我们提出了虚拟证据纳入内三元组贝叶斯网络（BN），以保持对象条件分布的关系标签，并消除由边缘概率的关系所产生的偏见。少数类中的关系数量不足，这在学习三元组内贝叶斯网络中构成了一个重要问题。我们解决这一不足的嵌入为基础的增强的三元组，我们借用样本的少数三元组类从它的邻居三元组的语义空间。我们在两个不同的数据集上进行实验，并在关系的平均召回率方面取得了显着的改善。与场景图模型的SOTA去偏置技术相比，我们还实现了召回率和平均召回率性能之间的更好平衡。
2023-03-14 cs.CV
A Probabilistic Framework for Visual Localization in Ambiguous Scenes
KTH Royal Institute of Technology（KTH皇家理工学院）；Univrses AB（Univrses公司）
视觉定位允许自主机器人在失去其姿势时通过将其当前观察与过去的观察相匹配来重新定位。然而，模糊的场景对这样的系统提出了挑战，因为重复的结构可以从许多不同的、同样可能的相机姿势中观察到，这意味着产生单个最佳姿势假设是不够的。在这项工作中，我们提出了一个概率框架，对于一个给定的图像预测其相机姿态的任意形状的后验分布。我们这样做，通过一个新的配方相机姿态回归使用变分推理，它允许从预测的分布采样。我们的方法优于现有的方法定位在模糊的场景。代码和数据将在https://github.com/efreidun/vapor上发布。
2023-01-05 cs.CV cs.RO
Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation
Tsinghua University（清华大学）；University of Electronic Science and Technology of China（电子科技大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
为了生成“准确”的场景图，几乎所有现有的方法都以确定性的方式预测成对关系。然而，我们认为，视觉关系往往是语义模糊的。具体来说，受语言学知识的启发，我们将歧义分为三种类型：同义歧义、上下义歧义和多视角歧义。这种模糊性自然会导致\emph{implicit multi-label}的问题，从而激发了对不同预测的需求。在这项工作中，我们提出了一种新的即插即用的概率不确定性建模（PUM）模块。它将每个联合区域建模为高斯分布，其方差度量相应视觉内容的不确定性。与传统的确定性方法相比，这种不确定性建模带来了特征表示的随机性，这自然使不同的预测成为可能。作为一个副产品，PUM还设法覆盖更细粒度的关系，从而解决了对频繁关系的偏见问题。在大规模Visual Genome基准测试上的大量实验表明，将PUM与新提出的ResCAGCN相结合可以实现最先进的性能，特别是在平均召回度量下。此外，我们证明了PUM的普遍有效性插入到一些现有的模型，并提供其能力，以产生不同的，但似乎合理的视觉关系有见地的分析。
2021-03-10 cs.CV
PSDF Fusion: Probabilistic Signed Distance Function for On-the-fly 3D Data Fusion and Scene Reconstruction
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
我们提出了一种新的三维空间表示的数据融合和场景重建。提出了概率符号距离函数（ProbabilitySignedDistanceFunction，PSDF）来描述三维空间中的不确定性。它是由一个联合分布描述SDF值和它的内点概率，反映输入数据质量和表面的几何形状。设计了一种包括体素、面元和网格的混合数据结构，以充分利用各种流行的3D表示的优点。通过PSDF连接，这些组件在一致的框架中合理地协作。给定顺序深度测量，PSDF可以用较少的特设参数贝叶斯更新来递增地改进。在PSDF和高效的3D数据表示的支持下，可以实时提取高质量的表面，并使用几何信息为可靠的数据融合做出贡献。实验表明，该系统重建的场景具有更高的模型质量和更低的冗余，运行速度比现有的在线网格生成系统。
2018-07-29 cs.CV cs.RO
GraPLUS: Graph-based Placement Using Semantics for Image Composition
Isfahan University of Technology（伊斯法罕理工大学）
本研究提出图像合理目标放置框架GraPLUS，结合场景图与大语言模型，通过语义嵌入、边感知图网络等创新，在OPA数据集上准确率达92.1%，显著优于现有方法。
2025-03-20 cs.CV
3DP3: 3D Scene Perception via Probabilistic Programming
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们提出了3DP 3，逆图形的框架，使用推理的对象，场景和图像的结构化生成模型。3DP 3使用（i）体素模型来表示对象的3D形状，（ii）分层场景图来将场景分解为对象和它们之间的接触，以及（iii）基于实时图形的深度图像似然性。给定观察到的RGB-D图像，3DP 3的推理算法使用快速自下而上的姿势建议、场景图结构的新颖对合MCMC更新以及可选的神经对象检测器和姿势估计器来推断潜在的潜在3D场景，包括对象姿势和这些姿势的简约联合参数化。我们表明，3DP 3使场景理解，是知道的3D形状，遮挡和接触结构。我们的研究结果表明，3DP 3在从真实图像中估计6DoF对象姿态时比深度学习基线更准确，并且对具有新视点、接触和部分可观察性的具有挑战性的场景表现出更好的泛化能力。
2021-10-30 cs.AI cs.CV
Table-Top Scene Analysis Using Knowledge-Supervised MCMC
Technische Universität München（慕尼黑工业大学）；Siemens AG（西门子股份公司）
在本文中，我们提出了一种概率方法来生成抽象的场景图的桌面场景从6D物体姿态估计。我们明确地利用特定于任务的上下文知识编码为马尔可夫逻辑网络中的描述性规则。我们的方法来生成场景图是概率的：对象姿态的不确定性是由嵌入在数据驱动的MCMC过程中的概率传感器模型来解决的。我们应用马尔可夫逻辑推理隐藏的对象的原因，并检测错误的估计对象构成。我们的方法的有效性证明和评估在现实世界中的实验。
2020-02-19 cs.CV cs.RO
Categorical Depth Distribution Network for Monocular 3D Object Detection
University of Toronto（多伦多大学）
单目3D目标检测是自主车辆的关键问题，因为与典型的多传感器系统相比，它提供了一种具有简单配置的解决方案。单目3D检测的主要挑战在于准确预测物体深度，由于缺乏直接的距离测量，因此必须从物体和场景线索中推断出物体深度。许多方法试图直接估计深度以辅助3D检测，但由于深度不准确而显示出有限的性能。我们提出的解决方案，分类深度分布网络（CaDDN），使用每个像素的预测分类深度分布，将丰富的上下文特征信息投影到3D空间中的适当深度间隔。然后，我们使用计算效率的鸟瞰图投影和单级检测器来产生最终的输出边界框。我们将CaDDN设计为用于联合深度估计和目标检测的完全可区分的端到端方法。我们验证了我们的方法在KITTI 3D目标检测基准，我们排名第一的单目方法。我们还在新发布的Waymo Open Dataset上提供了第一个单目3D检测结果。我们为CaDDN提供了可用的代码版本。
2021-03-23 cs.CV
Probabilistic Search for Object Segmentation and Recognition
搜索基于模型的场景解释的问题进行了分析概率框架内。对象模型被制定为生成模型的范围数据的场景。一个新的统计准则，截断对象概率，被引入到推断的对象假设的最佳序列进行评估，其匹配的数据。截断概率部分由对象的先验知识确定，部分从数据中学习。对序列质量和立体数据的目标分割与识别进行了实验研究。本文从概率的角度恢复了对象识别的经典概念（分组，几何哈希，对齐），并深入了解了对象假设的最佳排序。此外，它引入了点关系密度，截断概率的一个关键组成部分，作为局部表面形状的统计模型。
2002-08-05 cs.CV
Learning and generalization of compositional representations of visual scenes
Intel Labs（英特尔实验室）；UC Berkeley（加州大学伯克利分校）
由多个对象组成的复杂视觉场景，每个对象都具有属性，例如对象名称、位置、姿势、颜色等，为了训练神经网络，通常，深度学习网络是在分类场景描述的监督下训练的。场景的普通分类描述包含单个对象的名称，但缺乏关于其他属性的信息。在这里，我们使用分布式表示的对象属性和矢量操作的矢量符号架构，以创建一个完整的组成描述的场景在一个高维矢量。为了控制场景的组成，我们使用人工图像组成的多个，翻译和彩色MNIST数字。与学习类别标签相比，我们在这里训练深度神经网络来输出输入图像的完整组成向量描述。然后，深度网络的输出可以由VSA谐振器网络解释，以提取单个对象的对象身份或其他属性。我们评估随机生成的场景的系统的性能和泛化性能。具体来说，我们证明了网络能够学习任务，并推广到看不见的数字形状和场景配置。此外，训练模型的泛化能力有限。例如，在训练数据中存在间隙的情况下，如在训练期间在特定图像位置中未示出的对象，学习不会自动填充该间隙。
2023-03-23 cs.CV cs.NE
A Probabilistic Hard Attention Model For Sequentially Observed Scenes
McGill University（麦吉尔大学）
视觉硬注意模型主动选择并观察图像中的子区域序列以进行预测。大多数硬注意模型通过首先分析完整的图像来确定值得注意的区域。然而，可能的情况是，整个图像最初不可用，而是通过一系列部分观察逐渐感测。在本文中，我们设计了一个有效的硬注意力模型分类这样的顺序观察的场景。所提出的模型从未完全观察到图像。为了选择部分可观测的信息区域，该模型使用贝叶斯最优实验设计。该方法首先在已观测区域的基础上综合未观测区域的特征。然后，它使用预测的功能来估计所达到的预期信息增益（EIG），应参加各个区域。最后，该模型关注的实际内容的位置上，上述EIG是最大的。该模型使用a）一个递归特征聚合器来维持一个递归状态，b）一个线性分类器来预测类标签，c）一个部分变分自编码器来预测未观察区域的特征。我们在Partial VAE中使用归一化流来处理特征合成问题中的多模态。我们使用可微目标训练我们的模型，并在五个数据集上对其进行测试。我们的模型比基线模型的准确度高2-10%，当两者都只看到几个一瞥时。
2021-11-15 cs.CV
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine（加州大学欧文分校）
深度学习已经在ImageNet等数据集上显示出最先进的分类性能，这些数据集在每个图像中包含一个对象。然而，多目标分类更具挑战性。我们提出了一个统一的框架，利用多种机器学习方法的优势，即深度学习，概率模型和内核方法，以获得最先进的性能在Microsoft COCO上，由非图标图像。我们通过条件潜在树概率模型（CLTM）将上下文信息纳入自然图像中，其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现，通过内核方法估计，我们学习它的节点和边缘的潜力，通过训练一个新的3层神经网络，它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的，我们在MS-COCO上获得了显着的精度-召回率和F-措施，特别是对于困难的对象类别。此外，CLTM中的潜变量捕获场景信息：具有潜在节点的顶部激活的图像具有共同的主题，例如草原或食物场景等。此外，我们表明，仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能，而无需任何重新训练，并且在训练期间不使用场景标签。因此，我们提出了一个统一的框架，多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
Probabilistic Future Prediction for Video Scene Understanding
Wayve；University of Cambridge（剑桥大学）
我们提出了一种新的深度学习架构，用于从视频中进行概率未来预测。我们预测未来的语义，几何形状和复杂的现实世界的城市场景的运动，并使用这种表示来控制自动驾驶汽车。这项工作是第一个联合预测自我运动，静态场景，并以概率的方式，这使得采样一致，高度可能的未来从一个紧凑的潜在空间的动态代理的运动。我们的模型使用时空卷积模块从RGB视频中学习表示。除了作为学习的驾驶策略的输入之外，学习的表示还可以被显式地解码为未来的语义分割、深度和光流。为了模拟未来的随机性，我们引入了一种条件变分方法，该方法可以最大限度地减少当前分布（给定我们所看到的情况下可能发生的事情）和未来分布（我们所观察到的实际发生的事情）之间的差异。在推理过程中，通过从当前分布中采样来生成不同的未来。
2020-07-17 cs.CV cs.LG cs.RO
PRISM3D: Probabilistic Refinement and Robust Initialization for Physically Consistent Scene Modeling under Extreme Motion Blur
Computational Imaging Lab, Dept. of Electrical Engineering, IIT Madras（印度理工学院马德拉斯分校电气工程系计算成像实验室）
研究从极端运动模糊图像进行盲3D场景重建问题，提出PRISM3D框架，用鲁棒初始化策略结合概率物理方法，还介绍多模态扩展PRISM3D-E及基准，实验表明其达新的最优性能。
2026-07-07 cs.CV
PCF-Lift: Panoptic Lifting by Probabilistic Contrastive Fusion
The Chinese University of Hong Kong（香港中文大学）；Monash University（莫纳什大学）
本文提出PCF-Lift流水线，通过概率对比融合（PCF）学习概率特征以应对不准确的2D分割和不一致实例ID，在多个基准上显著优于现有方法并展现强鲁棒性。
2024-10-14 cs.CV
Incremental Abstraction in Distributed Probabilistic SLAM Graphs
Imperial College London（伦敦帝国学院）
场景图以紧凑且语义丰富的方式表示场景的关键组件，但由于鲁棒地识别抽象场景元素和优化连续变化的复杂图的挑战，在增量SLAM操作期间难以构建。我们提出了一个分布式的，基于图形的SLAM框架，用于基于两个新组件增量地构建场景图。首先，我们提出了一个增量抽象框架，其中神经网络提出了抽象的场景元素，这些元素被纳入到基于特征的单目SLAM系统的因子图中。场景元素通过优化被确认或拒绝，并逐渐替换点，从而产生更密集、语义和紧凑的表示。其次，启用我们的新的路由过程中，我们使用高斯置信传播（GBP）的分布式推理的图形处理器。GBP每次迭代的时间是结构不可知的，我们证明了速度优势，直接的方法来推断异构因子图。我们使用平面抽象在真实的室内数据集上运行我们的系统，并以显着的压缩恢复主要平面。
2022-04-04 cs.CV cs.RO
ProDepth: Boosting Self-Supervised Multi-Frame Monocular Depth with Probabilistic Fusion
Yonsei University（延世大学）
针对动态场景下自监督多帧单目深度估计的特征失配问题，提出ProDepth框架，通过概率代价体调制和损失重加权策略提升精度与泛化性，在多个数据集上表现优于现有方法。
2024-07-12 cs.CV
Linguistic Structures as Weak Supervision for Visual Scene Graph Generation
University of Pittsburgh（匹兹堡大学）
在场景图生成中的先前工作需要在三元组-主体和对象以及将它们关联的谓词（具有或不具有限界框信息）的级别上进行分类监督。然而，场景图生成是一个整体的任务：因此，整体的，上下文监督应该直观地提高性能。在这项工作中，我们将探讨如何在字幕的语言结构可以有利于场景图生成。我们的方法捕获了标题中提供的关于单个三元组之间关系的信息，以及主题和对象的上下文（例如提到的视觉属性）。字幕是一种比三元组更弱的监督类型，因为三元组中人类注释的主题和对象的详尽列表与字幕中的名词之间的对齐很弱。然而，考虑到网络上多模态数据的大量和多样化的来源（例如带有图像和标题的博客文章），语言监督比众包三元组更具可扩展性。我们展示了与利用实例和图像级监督的先前方法进行的广泛实验比较，并消除了我们的方法，以显示利用短语和顺序上下文的影响，以及提高主体和对象本地化的技术。
2021-05-28 cs.CV
A Comparative Evaluation of Approximate Probabilistic Simulation and Deep Neural Networks as Accounts of Human Physical Scene Understanding
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
人类在复杂的场景中表现出非凡的预测物理事件的能力。最近提出了两类用于物理场景理解的模型：“直观物理引擎”或IPE，其允许人们通过在本质上类似于视频游戏物理引擎的因果心理模型中运行近似概率模拟来做出预测，以及基于记忆的模型，其基于对先前遇到的场景和物理结果的存储经验的类比来做出判断。后者的版本最近已经在卷积神经网络（CNN）架构中实例化。在这里，我们报告了四个实验，据我们所知，这是基于模拟和基于CNN的模型的第一次严格比较，其中两种方法都在算法中具体实例化，这些算法可以在原始图像输入上运行，并作为输出产生物理判断，例如一堆块是否会掉落。这两种方法都可以达到超人的准确度，并且可以在类似程度上定量预测人类的判断，但只有基于模拟的模型才能以人们的方式推广到新的情况，并且在定性上与人们表现出的系统感知错觉和判断不对称性相一致。
2016-10-04 cs.AI cs.CV q-bio.NC
Probabilistic Volumetric Fusion for Dense Monocular SLAM
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的方法来重建三维场景的图像，利用深密集单目SLAM和快速不确定性传播。所提出的方法能够密集，准确和实时地重建场景，同时对来自密集单目SLAM的极度嘈杂的深度估计具有鲁棒性。与使用ad-hoc深度滤波器或从RGB-D相机的传感器模型估计深度不确定性的先前方法不同，我们的概率深度不确定性直接从SLAM中的底层捆绑调整问题的信息矩阵导出。我们表明，由此产生的深度不确定性提供了一个很好的信号，重量的深度图体积融合。如果没有我们的深度不确定性，所产生的网格是嘈杂的，并与文物，而我们的方法生成一个准确的三维网格与显着较少的文物。我们在具有挑战性的Euroc数据集上提供了结果，并表明我们的方法比直接从单目SLAM融合深度实现了92%的准确性，与最佳竞争方法相比，提高了90%。
2022-10-16 cs.CV
Scene Grammars, Factor Graphs, and Belief Propagation
Brown University（布朗大学）
我们描述了一个通用的框架，复杂场景的概率建模和推理模糊的意见。该方法的动机是在图像分析中的应用，是基于使用先验定义的随机文法。我们定义了一类语法，捕捉场景中的对象之间的关系，并提供重要的上下文线索的统计推断。由概率场景文法定义的场景上的分布可以由图形模型表示，并且这种构造可以用于具有循环置信传播的高效推理。我们展示了两个不同应用程序的实验结果。一个应用涉及二进制等高线图的重建。另一应用涉及检测和定位图像中的面部。在这两个应用程序中，相同的框架导致强大的推理算法，可以有效地结合本地信息来推理场景。
2019-08-13 cs.AI cs.CV
Probabilistic Interactive 3D Segmentation with Hierarchical Neural Processes
University of Amsterdam（阿姆斯特丹大学）；Singapore Management University（新加坡管理大学）
针对交互式三维分割中稀疏点击泛化与不确定性量化难题，提出基于神经过程的概率框架NPISeg3D，通过层次潜在变量和概率原型调制器，在四个点云数据集上以更少点击实现更优分割并可靠估计不确定性。
2025-05-26 cs.CV
Robust Inverse Graphics via Probabilistic Inference
Google（谷歌公司）
提出贝叶斯RIG框架，利用强场景先验与均匀退化先验，从单张退化图像联合推断三维场景和退化，仅用干净数据训练即优于点估计方法。
2024-06-11 cs.CV stat.CO
Attend, Infer, Repeat: Fast Scene Understanding with Generative Models
Google DeepMind（谷歌DeepMind）
我们提出了一个框架，在结构化的图像模型，明确的原因对象的有效推理。我们通过使用一个经常性的神经网络来执行概率推理来实现这一点，该网络关注场景元素并一次处理一个。至关重要的是，模型本身学会选择适当数量的推理步骤。我们使用这个方案来学习在部分指定的2D模型（可变大小的变分自动编码器）和完全指定的3D模型（概率渲染器）中执行推理。我们表明，这样的模型学习识别多个对象-计数，定位和分类场景的元素-没有任何监督，例如，在神经网络的单次前向传递中分解具有各种数量的对象的3D图像。我们进一步表明，与有监督的同行相比，网络可以产生准确的推断，并且它们的结构可以提高泛化能力。
2016-08-12 cs.CV cs.LG
VirPro: Visual-referred Probabilistic Prompt Learning for Weakly-Supervised Monocular 3D Detection
The University of Sydney（悉尼大学）；Tongji University（同济大学）；Nanyang Technological University（南洋理工大学）
本文提出VirPro，通过生成场景条件化提示并结合多高斯提示建模，提升单目3D检测的弱监督性能，实验表明在KITTI基准上平均精度提升4.8%。
2026-03-20 cs.AI cs.CV
Dynamic Probabilistic Network Based Human Action Recognition
Computer Science and Emerging Research Lab, AU（AU 计算机科学与新兴研究实验室）；Lead IT（Lead IT 公司）；Infobahn Softworld Inc（Infobahn Softworld 公司）
本文探讨了使用动态概率网络（DPN）的人类行为识别。实验中使用了在房间中举起物体和行走、坐在房间中和中立站立姿势的动作来测试分类。该研究使用了人体（面部、身体、手臂、腿部）上各种不同感兴趣区域（ROI）之间的动态相互关系以及与这些ROI相关的基于时间序列的事件。然后，使用该动态链接来识别场景中的人类行为方面。首先，一个模型来识别在室内场景中的人类活动，这个模型是依赖于使用DPN的各种动态事件之间的关键特征和相互联系。使用DPN对子ROI进行分类，以将组合的互连与特定的人类活动相关联。将室内（受控照明条件）与室外照明条件之间的识别精度性能进行比较。在室外场景中的准确性低于受控环境。
2016-07-26 cs.AI cs.CV cs.HC
Scenic: A Language for Scenario Specification and Scene Generation
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种新的概率程序设计语言的设计和分析的感知系统，特别是那些基于机器学习。具体来说，我们认为训练感知系统处理罕见事件，测试其性能在不同的条件下，和调试失败的问题。我们展示了概率程序设计语言如何通过指定对有趣的输入类型进行编码的分布并对这些输入进行采样以生成专门的训练集和测试集来帮助解决这些问题。更一般地说，这种语言可以用于网络物理系统和机器人来编写环境模型，这是任何形式分析的必要先决条件。在本文中，我们专注于自动驾驶汽车和机器人等系统，其环境是一个“场景”，一个物理对象和代理的配置。我们设计了一个特定领域的语言，风景，描述“场景”，分布在场景。作为一种概率程序设计语言，Scenic允许将分布分配给场景的特征，以及声明性地对场景施加硬约束和软约束。我们开发专门的技术，从产生的分布采样，利用风景区的特定于域的语法提供的结构。最后，我们将Scenic应用于一个卷积神经网络的案例研究中，该网络旨在检测道路图像中的汽车，从而提高其性能，超越了最先进的合成数据生成方法。
2019-06-21 cs.CV cs.LG cs.PL
Abstract Spatial-Temporal Reasoning via Probabilistic Abduction and Execution
UCLA Center for Vision Cognition Learning and Autonomy（加州大学洛杉矶分校视觉认知学习与自主中心）
时空推理是人工智能中一项具有挑战性的任务，这是由于其要求高但独特的性质：理论上要求基于头脑中的时空知识进行表示和推理，应用上要求能够在空间和时间中导航和行动的高级认知系统。最近的工作集中在这种抽象推理任务-乌鸦的进步矩阵（RPM）。尽管RPM取得了令人鼓舞的进展，在准确性方面达到了人类水平的性能，但现代方法既没有处理类似人类的泛化推理，也没有生成答案的潜力。为了填补这一空白，我们提出了一个神经符号概率绑架和执行（PrAE）学习者;中央的PrAE学习者是概率绑架和执行的概率场景表示的过程中，类似于心理操纵的对象。具体来说，我们从一个单一的模型中解开感知和推理。神经视觉感知前端预测对象的属性，随后由场景推理引擎聚合以产生概率场景表示。在符号逻辑推理后端，PrAE学习器使用表示来推导隐藏规则。通过对概率表示执行规则来预测答案。整个系统以分析合成的方式进行端到端的训练，没有任何视觉属性注释。大量的实验表明，PrAE学习器提高了交叉配置的泛化能力，并能够呈现一个答案，与以前的作品，只是从候选人中进行分类选择。
2021-05-14 cs.AI cs.CV cs.LG
GaussianFormer-2: Probabilistic Gaussian Superposition for Efficient 3D Occupancy Prediction
Tsinghua University（清华大学）；PhiGent Robotics（菲格特机器人公司）
针对3D语义占用预测中高斯表示大量描述空白区域的问题，本文提出概率高斯叠加、精确高斯混合语义计算和基于占用分布的初始化模块，GaussianFormer-2在nuScenes与KITTI-360上高效达到SOTA。
2024-12-06 cs.AI cs.CV cs.LG
Inverse Graphics with Probabilistic CAD Models
MIT（麻省理工学院）；Microsoft Research Cambridge（微软研究院剑桥实验室）
最近，基于计算机图形学的生成模型的概率反演的视觉问题的多种配方已经被提出。然而，从自然图像的3D感知的应用程序集中在低维的潜在场景，由于建模和推理的挑战。通过逼真的生成模型来解释3D对象形状和2D外观的巨大变化似乎很难，甚至将3D场景与2D图像链接的多对多计算的简单版本进行反演也是如此。本文提出并评估了解决这两个挑战的关键方面的方法。我们表明，它是可能的，以解决具有挑战性的，现实世界的3D视觉问题的近似推理生成模型的图像的基础上渲染的概率CAD（PCAD）程序的输出。我们的PCAD对象几何先验生成对应于合理对象的可变形3D网格，并应用仿射变换将它们放置在场景中。图像似然度基于特征空间中的相似性，该特征空间基于视觉文献中的标准中级图像表示。我们的推理算法集成了单站点和局部阻塞Metropolis-Hastings建议，Hamilton Monte Carlo和歧视性数据驱动的建议，从我们的模型生成的训练数据中学习。我们将这种方法应用于3D人体姿态估计和物体形状重建从单一的图像，实现定量和定性的性能改进超过国家的最先进的基线。
2014-07-04 cs.AI cs.CV stat.ML
A Probabilistic Framework for Dynamic Object Recognition in 3D Environment With A Novel Continuous Ground Estimation Method
K.N. Toosi University of Technology（图西理工大学）
在这篇论文中，我们提出了一个概率性的框架，用于三维环境中的动态目标识别。在ROS中使用C++和Python开发了一个软件包，用于执行检测和跟踪任务。在此基础上，提出了一种新的基于高斯过程回归（GPR）的地面点检测方法。假设地面行为仅表现出局部输入相关的平滑性。得到了籽粒的长度尺度。贝叶斯推理是用\textit{Maximum a Posteriori}准则实现的。对数边际似然函数被假定为多任务目标函数，以表示在每个帧处的地面的全帧无偏视图，因为相邻段在具有共享超参数值的同时在不平坦场景中可能不具有相似的地面结构。仿真结果表明，该方法在不平坦和粗糙的场景中的有效性，优于基于类高斯过程的地面分割方法。
2022-01-27 cs.AI cs.CV
Active Safety Envelopes using Light Curtains with Probabilistic Guarantees
Carnegie Mellon University（卡内基梅隆大学）
为了安全地在未知环境中航行，机器人必须准确地感知动态障碍物。我们没有直接使用LiDAR传感器测量场景深度，而是探索使用一种更便宜、分辨率更高的传感器：可编程光幕。光幕是可控的深度传感器，仅沿用户选择的表面进行感测。我们使用光幕来估计场景的安全范围：一个将机器人与所有障碍物隔开的假设表面。我们表明，生成感测随机位置（从特定分布）的光幕可以快速发现具有未知对象的场景的安全包络。重要的是，我们产生的理论上的安全保证的概率检测障碍物使用随机窗帘。我们将随机窗帘与基于机器学习的模型相结合，该模型可以有效地预测和跟踪安全外壳的运动。我们的方法准确地估计安全信封，同时提供概率安全保证，可用于验证机器人感知系统的效率，以检测和避免动态障碍物。我们评估我们的方法在一个模拟的城市驾驶环境和现实世界的环境中移动的行人使用光幕设备，并表明我们可以有效地估计安全信封。项目网址：https://siddancha.github.io/projects/active-safety-envelopes-with-guarantees
2021-07-08 cs.AI cs.CV cs.LG
Hallucinating 360°: Panoramic Street-View Generation via Local Scenes Diffusion and Probabilistic Prompting
School of Artificial Intelligence and Robotics and the National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（人工智能与机器人学院和机器人视觉感知与控制技术国家工程研究中心，湖南大学）；Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（人机学与机器人研究所，卡尔斯鲁厄技术大学）
本文提出Percep360方法，通过局部场景扩散与概率提示技术，实现自动驾驶中的可控全景图像生成，提升真实场景下的鸟瞰图分割性能。
2026-02-13 cs.CV cs.RO eess.IV
PRIMEDrive-CoT: A Precognitive Chain-of-Thought Framework for Uncertainty-Aware Object Interaction in Driving Scene Scenario
SRM Institute of Science and Technology（SRM科学技术学院）
本文提出PRIMEDrive-CoT框架，结合LiDAR 3D检测、多视角RGB、贝叶斯图神经网络和思维链推理，在DriveCoT数据集上实现了优于现有方法的不确定性感知驾驶场景物体交互与可解释决策。
2025-04-08 cs.AI cs.CV cs.LG
