3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for Robust 6D Pose Estimation
Google DeepMind(谷歌DeepMind);MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出3D Neural Embedding Likelihood (3DNEL)概率逆图形学框架,通过结合RGB神经嵌入与深度信息进行6D位姿估计,在保持高性能的同时显著提升了严重遮挡等挑战场景下的鲁棒性。
2023-09-06 cs.CV
DP-DeGauss: Dynamic Probabilistic Gaussian Decomposition for Egocentric 4D Scene Reconstruction
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);Nvidia(英伟达)
本文提出DP-DeGauss方法,通过动态概率高斯分解实现眼动4D场景重建,解决动态第一视角场景重建中的复杂运动、遮挡和手-物体交互问题,实现背景、手部和物体的解耦。
2026-04-09 cs.CV
A Probabilistic Framework for Visual Localization in Ambiguous Scenes
KTH Royal Institute of Technology(KTH皇家理工学院);Univrses AB(Univrses公司)
视觉定位允许自主机器人在失去其姿势时通过将其当前观察与过去的观察相匹配来重新定位。然而,模糊的场景对这样的系统提出了挑战,因为重复的结构可以从许多不同的、同样可能的相机姿势中观察到,这意味着产生单个最佳姿势假设是不够的。在这项工作中,我们提出了一个概率框架,对于一个给定的图像预测其相机姿态的任意形状的后验分布。我们这样做,通过一个新的配方相机姿态回归使用变分推理,它允许从预测的分布采样。我们的方法优于现有的方法定位在模糊的场景。代码和数据将在https://github.com/efreidun/vapor上发布。
2023-01-05 cs.CV cs.RO
Probabilistic Debiasing of Scene Graphs
Rensselaer Polytechnic Institute(伦斯勒理工学院)
由于关系及其父对象对的长尾性质,最先进的(SOTA)模型生成的场景图的质量受到损害。场景图的训练由多数对的多数关系主导,因此,在训练收敛后,少数对中的关系的对象条件分布不被保留。因此,有偏模型在关系的边缘分布中的更频繁的关系上表现良好,如“on”和“wearing”,而在不太频繁的关系上表现不佳,如“eating”或“hanging from”。在这项工作中,我们提出了虚拟证据纳入内三元组贝叶斯网络(BN),以保持对象条件分布的关系标签,并消除由边缘概率的关系所产生的偏见。少数类中的关系数量不足,这在学习三元组内贝叶斯网络中构成了一个重要问题。我们解决这一不足的嵌入为基础的增强的三元组,我们借用样本的少数三元组类从它的邻居三元组的语义空间。我们在两个不同的数据集上进行实验,并在关系的平均召回率方面取得了显着的改善。与场景图模型的SOTA去偏置技术相比,我们还实现了召回率和平均召回率性能之间的更好平衡。
2023-03-14 cs.CV
Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation
Tsinghua University(清华大学);University of Electronic Science and Technology of China(电子科技大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
为了生成“准确”的场景图,几乎所有现有的方法都以确定性的方式预测成对关系。然而,我们认为,视觉关系往往是语义模糊的。具体来说,受语言学知识的启发,我们将歧义分为三种类型:同义歧义、上下义歧义和多视角歧义。这种模糊性自然会导致\emph{implicit multi-label}的问题,从而激发了对不同预测的需求。在这项工作中,我们提出了一种新的即插即用的概率不确定性建模(PUM)模块。它将每个联合区域建模为高斯分布,其方差度量相应视觉内容的不确定性。与传统的确定性方法相比,这种不确定性建模带来了特征表示的随机性,这自然使不同的预测成为可能。作为一个副产品,PUM还设法覆盖更细粒度的关系,从而解决了对频繁关系的偏见问题。在大规模Visual Genome基准测试上的大量实验表明,将PUM与新提出的ResCAGCN相结合可以实现最先进的性能,特别是在平均召回度量下。此外,我们证明了PUM的普遍有效性插入到一些现有的模型,并提供其能力,以产生不同的,但似乎合理的视觉关系有见地的分析。
2021-03-10 cs.CV
PSDF Fusion: Probabilistic Signed Distance Function for On-the-fly 3D Data Fusion and Scene Reconstruction
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
我们提出了一种新的三维空间表示的数据融合和场景重建。提出了概率符号距离函数(ProbabilitySignedDistanceFunction,PSDF)来描述三维空间中的不确定性。它是由一个联合分布描述SDF值和它的内点概率,反映输入数据质量和表面的几何形状。设计了一种包括体素、面元和网格的混合数据结构,以充分利用各种流行的3D表示的优点。通过PSDF连接,这些组件在一致的框架中合理地协作。给定顺序深度测量,PSDF可以用较少的特设参数贝叶斯更新来递增地改进。在PSDF和高效的3D数据表示的支持下,可以实时提取高质量的表面,并使用几何信息为可靠的数据融合做出贡献。实验表明,该系统重建的场景具有更高的模型质量和更低的冗余,运行速度比现有的在线网格生成系统。
2018-07-29 cs.CV cs.RO
3DP3: 3D Scene Perception via Probabilistic Programming
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
我们提出了3DP 3,逆图形的框架,使用推理的对象,场景和图像的结构化生成模型。3DP 3使用(i)体素模型来表示对象的3D形状,(ii)分层场景图来将场景分解为对象和它们之间的接触,以及(iii)基于实时图形的深度图像似然性。给定观察到的RGB-D图像,3DP 3的推理算法使用快速自下而上的姿势建议、场景图结构的新颖对合MCMC更新以及可选的神经对象检测器和姿势估计器来推断潜在的潜在3D场景,包括对象姿势和这些姿势的简约联合参数化。我们表明,3DP 3使场景理解,是知道的3D形状,遮挡和接触结构。我们的研究结果表明,3DP 3在从真实图像中估计6DoF对象姿态时比深度学习基线更准确,并且对具有新视点、接触和部分可观察性的具有挑战性的场景表现出更好的泛化能力。
2021-10-30 cs.AI cs.CV
Table-Top Scene Analysis Using Knowledge-Supervised MCMC
Technische Universität München(慕尼黑工业大学);Siemens AG(西门子股份公司)
在本文中,我们提出了一种概率方法来生成抽象的场景图的桌面场景从6D物体姿态估计。我们明确地利用特定于任务的上下文知识编码为马尔可夫逻辑网络中的描述性规则。我们的方法来生成场景图是概率的:对象姿态的不确定性是由嵌入在数据驱动的MCMC过程中的概率传感器模型来解决的。我们应用马尔可夫逻辑推理隐藏的对象的原因,并检测错误的估计对象构成。我们的方法的有效性证明和评估在现实世界中的实验。
2020-02-19 cs.CV cs.RO
3D planar patch extraction from stereo using probabilistic region growing
Linkoping University(林雪平大学)
提出了一种基于概率区域生长算法的三维平面面片提取方法。我们的方法的工作原理是同时启动多个平面补丁从种子点,后者确定的基于强度的2D分割算法中的立体对图像。的补丁增量和并行的3D场景点被认为是会员资格,使用概率距离似然测量。此外,我们已纳入先验信息的基础上的噪声模型在2D图像和场景配置,但也包括强度信息从初始分割。该方法在许多不同的数据集上都能很好地工作,包括定期和非定期采样数据的真实和合成示例,并且速度足够快,可以用于路径检测和避障的机器人导航任务。
2014-06-27 cs.CV
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine(加州大学欧文分校)
深度学习已经在ImageNet等数据集上显示出最先进的分类性能,这些数据集在每个图像中包含一个对象。然而,多目标分类更具挑战性。我们提出了一个统一的框架,利用多种机器学习方法的优势,即深度学习,概率模型和内核方法,以获得最先进的性能在Microsoft COCO上,由非图标图像。我们通过条件潜在树概率模型(CLTM)将上下文信息纳入自然图像中,其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现,通过内核方法估计,我们学习它的节点和边缘的潜力,通过训练一个新的3层神经网络,它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的,我们在MS-COCO上获得了显着的精度-召回率和F-措施,特别是对于困难的对象类别。此外,CLTM中的潜变量捕获场景信息:具有潜在节点的顶部激活的图像具有共同的主题,例如草原或食物场景等。此外,我们表明,仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能,而无需任何重新训练,并且在训练期间不使用场景标签。因此,我们提出了一个统一的框架,多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
360-DFPE: Leveraging Monocular 360-Layouts for Direct Floor Plan Estimation
National Tsing Hua University(台湾清华大学);Phiar Technologies(Phiar科技公司)
我们提出了360-DFPE,一种顺序的平面图估计方法,直接将360图像作为输入,而不依赖于主动传感器或3D信息。我们的方法利用了单目视觉SLAM解决方案和单目360房间布局方法之间的松散耦合集成,分别估计相机姿态和布局几何形状。由于我们的任务是使用单目图像顺序捕获平面图,因此整个场景结构,房间实例和房间形状都是未知的。为了应对这些挑战,我们首先通过制定熵最小化过程来处理视觉里程计和布局几何之间的尺度差异,这使我们能够在不提前知道整个场景的情况下直接对齐360布局。其次,顺序识别各个房间,我们提出了一种新的房间识别算法,跟踪每个房间沿着相机探索使用几何信息。最后,为了估计房间的最终形状,我们提出了一个最短路径算法与迭代的粗到细的策略,提高了先前的配方具有更高的精度和更快的运行时间。此外,我们收集了一个新的平面图数据集,具有挑战性的大规模场景,提供点云和连续的360图像信息。实验结果表明,我们的单目解决方案实现了良好的性能对当前国家的最先进的算法,依赖于主动传感器,并需要整个场景重建数据提前。
2022-05-08 cs.CV
Probabilistic Search for Object Segmentation and Recognition
搜索基于模型的场景解释的问题进行了分析概率框架内。对象模型被制定为生成模型的范围数据的场景。一个新的统计准则,截断对象概率,被引入到推断的对象假设的最佳序列进行评估,其匹配的数据。截断概率部分由对象的先验知识确定,部分从数据中学习。对序列质量和立体数据的目标分割与识别进行了实验研究。本文从概率的角度恢复了对象识别的经典概念(分组,几何哈希,对齐),并深入了解了对象假设的最佳排序。此外,它引入了点关系密度,截断概率的一个关键组成部分,作为局部表面形状的统计模型。
2002-08-05 cs.CV
Probabilistic Future Prediction for Video Scene Understanding
Wayve;University of Cambridge(剑桥大学)
我们提出了一种新的深度学习架构,用于从视频中进行概率未来预测。我们预测未来的语义,几何形状和复杂的现实世界的城市场景的运动,并使用这种表示来控制自动驾驶汽车。这项工作是第一个联合预测自我运动,静态场景,并以概率的方式,这使得采样一致,高度可能的未来从一个紧凑的潜在空间的动态代理的运动。我们的模型使用时空卷积模块从RGB视频中学习表示。除了作为学习的驾驶策略的输入之外,学习的表示还可以被显式地解码为未来的语义分割、深度和光流。为了模拟未来的随机性,我们引入了一种条件变分方法,该方法可以最大限度地减少当前分布(给定我们所看到的情况下可能发生的事情)和未来分布(我们所观察到的实际发生的事情)之间的差异。在推理过程中,通过从当前分布中采样来生成不同的未来。
2020-07-17 cs.CV cs.LG cs.RO
Schrödinger's Cat: Probabilistic Representation and Prediction of Potential Scene Kinematics
研究如何从部分观测预测场景演变,提出GARFIELD概率模型,能学习潜在表示实现轨迹联合采样和运动分布访问,实验显示其在运动规划性能、采样速度及密度估计上优势显著。
2026-07-29 cs.CV cs.LG
PRISM3D: Probabilistic Refinement and Robust Initialization for Physically Consistent Scene Modeling under Extreme Motion Blur
Computational Imaging Lab, Dept. of Electrical Engineering, IIT Madras(印度理工学院马德拉斯分校电气工程系计算成像实验室)
研究从极端运动模糊图像进行盲3D场景重建问题,提出PRISM3D框架,用鲁棒初始化策略结合概率物理方法,还介绍多模态扩展PRISM3D-E及基准,实验表明其达新的最优性能。
2026-07-07 cs.CV
Incremental Abstraction in Distributed Probabilistic SLAM Graphs
Imperial College London(伦敦帝国学院)
场景图以紧凑且语义丰富的方式表示场景的关键组件,但由于鲁棒地识别抽象场景元素和优化连续变化的复杂图的挑战,在增量SLAM操作期间难以构建。我们提出了一个分布式的,基于图形的SLAM框架,用于基于两个新组件增量地构建场景图。首先,我们提出了一个增量抽象框架,其中神经网络提出了抽象的场景元素,这些元素被纳入到基于特征的单目SLAM系统的因子图中。场景元素通过优化被确认或拒绝,并逐渐替换点,从而产生更密集、语义和紧凑的表示。其次,启用我们的新的路由过程中,我们使用高斯置信传播(GBP)的分布式推理的图形处理器。GBP每次迭代的时间是结构不可知的,我们证明了速度优势,直接的方法来推断异构因子图。我们使用平面抽象在真实的室内数据集上运行我们的系统,并以显着的压缩恢复主要平面。
2022-04-04 cs.CV cs.RO
PCF-Lift: Panoptic Lifting by Probabilistic Contrastive Fusion
The Chinese University of Hong Kong(香港中文大学);Monash University(莫纳什大学)
本文提出PCF-Lift流水线,通过概率对比融合(PCF)学习概率特征以应对不准确的2D分割和不一致实例ID,在多个基准上显著优于现有方法并展现强鲁棒性。
2024-10-14 cs.CV
A Comparative Evaluation of Approximate Probabilistic Simulation and Deep Neural Networks as Accounts of Human Physical Scene Understanding
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
人类在复杂的场景中表现出非凡的预测物理事件的能力。最近提出了两类用于物理场景理解的模型:“直观物理引擎”或IPE,其允许人们通过在本质上类似于视频游戏物理引擎的因果心理模型中运行近似概率模拟来做出预测,以及基于记忆的模型,其基于对先前遇到的场景和物理结果的存储经验的类比来做出判断。后者的版本最近已经在卷积神经网络(CNN)架构中实例化。在这里,我们报告了四个实验,据我们所知,这是基于模拟和基于CNN的模型的第一次严格比较,其中两种方法都在算法中具体实例化,这些算法可以在原始图像输入上运行,并作为输出产生物理判断,例如一堆块是否会掉落。这两种方法都可以达到超人的准确度,并且可以在类似程度上定量预测人类的判断,但只有基于模拟的模型才能以人们的方式推广到新的情况,并且在定性上与人们表现出的系统感知错觉和判断不对称性相一致。
2016-10-04 cs.AI cs.CV q-bio.NC
Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出一种场景条件扩散方法,结合可见性感知图卷积去噪器和物理碰撞引导采样,解决第一人称视角下因身体截断导致的三维人体姿态恢复不确定性问题。
2023-09-16 cs.AI cs.CV
ProDepth: Boosting Self-Supervised Multi-Frame Monocular Depth with Probabilistic Fusion
Yonsei University(延世大学)
针对动态场景下自监督多帧单目深度估计的特征失配问题,提出ProDepth框架,通过概率代价体调制和损失重加权策略提升精度与泛化性,在多个数据集上表现优于现有方法。
2024-07-12 cs.CV
Joint Spatial and Layer Attention for Convolutional Networks
University of Ontario Institute of Technology(安大略理工大学);Ryerson University(瑞尔森大学)
在本文中,我们提出了一种新的方法,该方法学习顺序地关注不同的卷积神经网络(CNN)层(即,“什么”特征抽象要注意)和所选特征图的不同空间位置(即,“在什么地方”,完成手头的任务。具体地,在每个递归神经网络(RNN)步骤中,选择CNN层和其内的局部空间区域用于进一步处理。我们证明了这种方法在两个计算机视觉任务上的有效性:(i)基于图像的六自由度相机姿态回归和(ii)室内场景分类。从经验上讲,我们表明,结合“什么”和“在哪里”方面的注意力提高网络性能的两个任务。我们评估我们的方法对标准基准相机定位(剑桥,7场景,和TUM-LSI)和场景分类(MIT-67室内场景)。对于摄像机定位,我们的方法减少了18.8\%的位置和8.2\%的方向(平均在所有场景)的中位误差,和场景分类,它提高了3.4\%的平均精度比以前的方法。
2019-05-31 cs.CV
Scene Grammars, Factor Graphs, and Belief Propagation
Brown University(布朗大学)
我们描述了一个通用的框架,复杂场景的概率建模和推理模糊的意见。该方法的动机是在图像分析中的应用,是基于使用先验定义的随机文法。我们定义了一类语法,捕捉场景中的对象之间的关系,并提供重要的上下文线索的统计推断。由概率场景文法定义的场景上的分布可以由图形模型表示,并且这种构造可以用于具有循环置信传播的高效推理。我们展示了两个不同应用程序的实验结果。一个应用涉及二进制等高线图的重建。另一应用涉及检测和定位图像中的面部。在这两个应用程序中,相同的框架导致强大的推理算法,可以有效地结合本地信息来推理场景。
2019-08-13 cs.AI cs.CV
Probabilistic Volumetric Fusion for Dense Monocular SLAM
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的方法来重建三维场景的图像,利用深密集单目SLAM和快速不确定性传播。所提出的方法能够密集,准确和实时地重建场景,同时对来自密集单目SLAM的极度嘈杂的深度估计具有鲁棒性。与使用ad-hoc深度滤波器或从RGB-D相机的传感器模型估计深度不确定性的先前方法不同,我们的概率深度不确定性直接从SLAM中的底层捆绑调整问题的信息矩阵导出。我们表明,由此产生的深度不确定性提供了一个很好的信号,重量的深度图体积融合。如果没有我们的深度不确定性,所产生的网格是嘈杂的,并与文物,而我们的方法生成一个准确的三维网格与显着较少的文物。我们在具有挑战性的Euroc数据集上提供了结果,并表明我们的方法比直接从单目SLAM融合深度实现了92%的准确性,与最佳竞争方法相比,提高了90%。
2022-10-16 cs.CV
Robust Inverse Graphics via Probabilistic Inference
Google(谷歌公司)
提出贝叶斯RIG框架,利用强场景先验与均匀退化先验,从单张退化图像联合推断三维场景和退化,仅用干净数据训练即优于点估计方法。
2024-06-11 cs.CV stat.CO
Visual Deprojection: Probabilistic Recovery of Collapsed Dimensions
MIT(麻省理工学院);MGH(麻省总医院)
我们介绍视觉解投影:恢复已沿维度折叠的图像或视频的任务。投影出现在各种情况下,例如长曝光摄影,其中动态场景在时间上被折叠以产生运动模糊的图像,以及角落相机,其中来自场景的反射光由于边缘遮挡物而沿着空间维度被折叠以产生1D视频。反投影是不适定的--对于给定的输入,通常有许多看似合理的解。我们首先提出了一个概率模型捕捉任务的模糊性。然后,我们提出了一个变分推理策略,使用卷积神经网络作为功能逼近。在测试时从推理网络中采样,从与给定输入投影一致的原始信号分布中产生合理的候选。我们评估的方法在几个数据集的空间和时间的反投影任务。我们首先证明了该方法可以从空间投影中恢复人体步态视频和人脸图像,然后表明它可以从通过时间投影获得的运动模糊图像中恢复运动数字视频。
2019-09-01 cs.CV
A Multi-Object Rectified Attention Network for Scene Text Recognition
South China University of Technology(华南理工大学);SCUT-Zhuhai Institute of Modern Industrial Innovation(华南理工大学珠海现代产业创新研究院)
不规则文本被广泛使用。然而,由于它的各种形状和扭曲的图案,识别起来相当困难。因此,在本文中,我们提出了一个多对象纠正注意力网络(MORAN)的一般场景文本识别。MORAN由一个多目标校正网络和一个基于注意力的序列识别网络组成。针对含有不规则文字的图像,设计了多目标校正网络。它降低了识别的难度,使基于注意力的序列识别网络更容易阅读不规则文本。它是以弱监督方式训练的,因此只需要图像和相应的文本标签。基于注意力的序列识别网络专注于目标字符并顺序输出预测。此外,为了提高基于注意力的序列识别网络的灵敏度,在训练阶段提出了一种分数拾取方法用于基于注意力的解码器。通过校正机制,MORAN可以读取规则和不规则的场景文本。在各种基准上进行了大量的实验,结果表明MORAN达到了最先进的性能。源代码是可用的。
2019-01-10 cs.CV
Enhanced Multi-View Pedestrian Detection Using Probabilistic Occupancy Volume
University of Surrey(萨里大学)
针对多视角行人检测中3D特征体未关注行人位置的问题,本文提出用视觉外壳构建概率占据体以补充3D特征体,从而提升检测精度,并在MultiviewX和Wildtrack上取得优异结果。
2025-03-14 cs.CV
SG2Loc: Sequential Visual Localization on 3D Scene Graphs
ETH Zurich(苏黎世联邦理工学院);Google(谷歌);TU Munich(慕尼黑工业大学);Microsoft(微软)
提出一种轻量级顺序视觉定位方法,利用紧凑的3D场景图表示环境,通过粒子滤波和语义匹配实现高效定位,显著降低存储需求。
2026-06-11 cs.CV
PanoDreamer: Optimization-Based Single Image to 360 3D Scene With Diffusion
Texas A\&M University(德克萨斯A&M大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Leia Inc.(Leia公司)
PanoDreamer通过优化方法实现单图像到360度3D场景的重建,提出两种优化任务和交替最小化策略以提升一致性和质量。
2026-01-21 cs.CV cs.GR
SG-Adapter: Enhancing Text-to-Image Generation with Scene Graph Guidance
HKUST(GZ)(香港科技大学(广州));Kuaishou(快手);Zhejiang Lab(之江实验室);Zhejiang University(浙江大学);Adobe Research(奥多比研究中心)
本文提出SG-Adapter,利用场景图结构纠正文本嵌入偏差,并构建MultiRels数据集及GPT-4V指标,提升多关系场景下文本到图像生成的对应准确性。
2024-05-24 cs.CV
Attend, Infer, Repeat: Fast Scene Understanding with Generative Models
Google DeepMind(谷歌DeepMind)
我们提出了一个框架,在结构化的图像模型,明确的原因对象的有效推理。我们通过使用一个经常性的神经网络来执行概率推理来实现这一点,该网络关注场景元素并一次处理一个。至关重要的是,模型本身学会选择适当数量的推理步骤。我们使用这个方案来学习在部分指定的2D模型(可变大小的变分自动编码器)和完全指定的3D模型(概率渲染器)中执行推理。我们表明,这样的模型学习识别多个对象-计数,定位和分类场景的元素-没有任何监督,例如,在神经网络的单次前向传递中分解具有各种数量的对象的3D图像。我们进一步表明,与有监督的同行相比,网络可以产生准确的推断,并且它们的结构可以提高泛化能力。
2016-08-12 cs.CV cs.LG
Searching for Objects using Structure in Indoor Scenes
University of Maryland(马里兰大学)
为了识别特定类别的对象的位置,被动计算机视觉系统通常处理图像中的所有区域以最终输出几个区域。但是,我们可以使用场景中的结构来搜索对象,而无需处理整个图像。我们提出了一种搜索技术,顺序处理图像区域,使得更有可能对应于查询类对象的区域被探索较早。我们将问题框架为马尔可夫决策过程,并使用模仿学习算法来学习搜索策略。由于在场景中的结构是必不可少的搜索,我们的工作与室内场景图像,因为它们包含一元场景上下文信息和对象-对象上下文的场景。我们在NYU深度v2数据集上进行了实验,结果表明,单独使用一元场景上下文特征可以实现非常高的平均精度,同时只处理20- 25%的区域,例如床和沙发。通过考虑对象-对象上下文以及场景上下文特征,进一步提高了柜台、灯、枕头和沙发等类的性能。
2015-11-24 cs.AI cs.CV
WcDT: World-centric Diffusion Transformer for Traffic Scene Generation
Cardiff University(卡迪夫大学);University of Minnesota - Twin Cities(明尼苏达大学双城分校);Mississippi State University(密西西比州立大学);University of Electronic Science and Technology of China(电子科技大学);University of Toronto(多伦多大学);University of Virginia(弗吉尼亚大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出世界中心扩散Transformer(WcDT),融合扩散模型与Transformer生成自动驾驶多模态轨迹,实验证明其在真实性与多样性上表现优越。
2025-03-10 cs.CV
A probabilistic patch based image representation using Conditional Random Field model for image classification
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一个有序的补丁为基础的方法,使用条件随机场(CRF),以编码图像中的局部属性和它们的空间关系,以解决纹理分类,人脸识别和场景分类问题。典型的图像分类方法在不考虑图像的不同属性之间的空间因果关系的情况下工作,以用于特征空间中的图像表示。在该方法中,首先,每个图像被编码为一个有序的补丁序列,包括本地属性。其次,这些有序补丁的序列被建模为一个概率特征向量CRF模型的空间关系,这些局部属性。最后,对这样的概率图像表示执行图像分类。在多个标准图像数据集上的实验结果表明,该方法优于现有的一些图像分类方法。
2016-10-05 cs.CV
VirPro: Visual-referred Probabilistic Prompt Learning for Weakly-Supervised Monocular 3D Detection
The University of Sydney(悉尼大学);Tongji University(同济大学);Nanyang Technological University(南洋理工大学)
本文提出VirPro,通过生成场景条件化提示并结合多高斯提示建模,提升单目3D检测的弱监督性能,实验表明在KITTI基准上平均精度提升4.8%。
2026-03-20 cs.AI cs.CV
Image Parsing with a Wide Range of Classes and Scene-Level Context
ETH Zurich(苏黎世联邦理工学院)
本文提出了一种非参数场景分析方法,提高了整体的准确性,以及在场景图像中的前景类的覆盖率。我们首先通过合并来自不同概率分类器的似然分数来提高超像素处的标签似然估计。这提高了分类性能,并丰富了较少表示类的表示。我们的第二个贡献包括将语义上下文的解析过程中,通过全球标签成本。我们的方法不依赖于图像检索集,而是为每个标签分配一个全局似然估计,并将其插入到整体能量函数中。我们在两个大规模的数据集上评估我们的系统,SIFTflow和LMSun。我们在SIFTflow数据集上实现了最先进的性能,并在LMSun上获得了接近记录的结果。
2015-10-24 cs.CV
DANTE-AD: Dual-Vision Attention Network for Long-Term Audio Description
University of Surrey(萨里大学)
针对长期视觉叙事连贯性缺失问题,提出基于双视觉Transformer架构的DANTE-AD模型,通过依次融合帧级和场景级嵌入并采用序列交叉注意力方法,在电影场景的NLP和LLM评估中均优于现有方法。
2025-03-31 cs.CV
Leveraging Cutting Edge Deep Learning Based Image Matching for Reconstructing a Large Scene from Sparse Images
Chalmers University of Technology(查尔姆斯理工大学);Linköping University(林雪平大学)
针对城市场景车载序列图像的相对运动估计任务,提出结合RoMa匹配器、DeDoDe关键点、COLMAP重建及DINOv2图像检索的方案,获IJCAI 2023 AISG-SLA挑战赛第一,并给出精度上界。
2023-10-02 cs.CV
Dynamic Probabilistic Network Based Human Action Recognition
Computer Science and Emerging Research Lab, AU(AU 计算机科学与新兴研究实验室);Lead IT(Lead IT 公司);Infobahn Softworld Inc(Infobahn Softworld 公司)
本文探讨了使用动态概率网络(DPN)的人类行为识别。实验中使用了在房间中举起物体和行走、坐在房间中和中立站立姿势的动作来测试分类。该研究使用了人体(面部、身体、手臂、腿部)上各种不同感兴趣区域(ROI)之间的动态相互关系以及与这些ROI相关的基于时间序列的事件。然后,使用该动态链接来识别场景中的人类行为方面。首先,一个模型来识别在室内场景中的人类活动,这个模型是依赖于使用DPN的各种动态事件之间的关键特征和相互联系。使用DPN对子ROI进行分类,以将组合的互连与特定的人类活动相关联。将室内(受控照明条件)与室外照明条件之间的识别精度性能进行比较。在室外场景中的准确性低于受控环境。
2016-07-26 cs.AI cs.CV cs.HC
A Probabilistic Framework for Improving Dense Object Detection in Underwater Image Data via Annealing-Based Data Augmentation
Harvard Department of Mathematics(哈佛数学系);Harvard Department of Computer Science(哈佛计算机科学系)
本文提出一种概率框架,通过退火数据增强提升水下图像中密集目标检测的鲁棒性,利用DeepFish数据集生成自定义检测数据集,并通过伪模拟退火算法合成逼真鱼群场景,实验表明其优于YOLOv10基线模型。
2026-04-23 cs.CV
Scenic: A Language for Scenario Specification and Scene Generation
University of California, Berkeley(加州大学伯克利分校)
我们提出了一种新的概率程序设计语言的设计和分析的感知系统,特别是那些基于机器学习。具体来说,我们认为训练感知系统处理罕见事件,测试其性能在不同的条件下,和调试失败的问题。我们展示了概率程序设计语言如何通过指定对有趣的输入类型进行编码的分布并对这些输入进行采样以生成专门的训练集和测试集来帮助解决这些问题。更一般地说,这种语言可以用于网络物理系统和机器人来编写环境模型,这是任何形式分析的必要先决条件。在本文中,我们专注于自动驾驶汽车和机器人等系统,其环境是一个“场景”,一个物理对象和代理的配置。我们设计了一个特定领域的语言,风景,描述“场景”,分布在场景。作为一种概率程序设计语言,Scenic允许将分布分配给场景的特征,以及声明性地对场景施加硬约束和软约束。我们开发专门的技术,从产生的分布采样,利用风景区的特定于域的语法提供的结构。最后,我们将Scenic应用于一个卷积神经网络的案例研究中,该网络旨在检测道路图像中的汽车,从而提高其性能,超越了最先进的合成数据生成方法。
2019-06-21 cs.CV cs.LG cs.PL
A sparsity augmented probabilistic collaborative representation based classification method
Zhenjiang College(镇江学院);Jiangnan University(江南大学)
为了提高图像识别的性能,提出了一种基于稀疏增强概率协同表示的分类方法(SA-ProCRC)。该方法首先通过ProCRC得到稠密系数,然后用稀疏系数对稠密系数进行增广,最后通过正交匹配追踪(OMP)算法得到稀疏系数。与传统的需要明确计算每类重构残差的方法不同,该方法利用训练样本的增广系数和标签矩阵对测试样本进行分类。实验结果表明,该方法对人脸和场景图像都能取得较好的效果.我们提出的SA-ProCRC的源代码可以在https://github.com/yinhefeng/SAProCRC上访问。
2019-12-27 cs.CV
CLNeRF: Continual Learning Meets NeRF
Intel Labs(英特尔实验室)
CLNeRF将持续学习引入NeRF,结合生成重放与NGP架构,并添加外观和几何嵌入,无需存储历史图像即可高效处理场景随时间的外观和几何变化,性能媲美全量训练模型。
2023-08-28 cs.CV
Abstract Spatial-Temporal Reasoning via Probabilistic Abduction and Execution
UCLA Center for Vision Cognition Learning and Autonomy(加州大学洛杉矶分校视觉认知学习与自主中心)
时空推理是人工智能中一项具有挑战性的任务,这是由于其要求高但独特的性质:理论上要求基于头脑中的时空知识进行表示和推理,应用上要求能够在空间和时间中导航和行动的高级认知系统。最近的工作集中在这种抽象推理任务-乌鸦的进步矩阵(RPM)。尽管RPM取得了令人鼓舞的进展,在准确性方面达到了人类水平的性能,但现代方法既没有处理类似人类的泛化推理,也没有生成答案的潜力。为了填补这一空白,我们提出了一个神经符号概率绑架和执行(PrAE)学习者;中央的PrAE学习者是概率绑架和执行的概率场景表示的过程中,类似于心理操纵的对象。具体来说,我们从一个单一的模型中解开感知和推理。神经视觉感知前端预测对象的属性,随后由场景推理引擎聚合以产生概率场景表示。在符号逻辑推理后端,PrAE学习器使用表示来推导隐藏规则。通过对概率表示执行规则来预测答案。整个系统以分析合成的方式进行端到端的训练,没有任何视觉属性注释。大量的实验表明,PrAE学习器提高了交叉配置的泛化能力,并能够呈现一个答案,与以前的作品,只是从候选人中进行分类选择。
2021-05-14 cs.AI cs.CV cs.LG
GaussianFormer-2: Probabilistic Gaussian Superposition for Efficient 3D Occupancy Prediction
Tsinghua University(清华大学);PhiGent Robotics(菲格特机器人公司)
针对3D语义占用预测中高斯表示大量描述空白区域的问题,本文提出概率高斯叠加、精确高斯混合语义计算和基于占用分布的初始化模块,GaussianFormer-2在nuScenes与KITTI-360上高效达到SOTA。
2024-12-06 cs.AI cs.CV cs.LG
4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation
Snap Inc.;KAUST
提出首个前馈计算4D时空网格的框架,融合视图-时间注意力于单层,并扩展3D重建,提升4D生成质量与重建能力。
2025-06-18 cs.CV
Inverse Graphics with Probabilistic CAD Models
MIT(麻省理工学院);Microsoft Research Cambridge(微软研究院剑桥实验室)
最近,基于计算机图形学的生成模型的概率反演的视觉问题的多种配方已经被提出。然而,从自然图像的3D感知的应用程序集中在低维的潜在场景,由于建模和推理的挑战。通过逼真的生成模型来解释3D对象形状和2D外观的巨大变化似乎很难,甚至将3D场景与2D图像链接的多对多计算的简单版本进行反演也是如此。本文提出并评估了解决这两个挑战的关键方面的方法。我们表明,它是可能的,以解决具有挑战性的,现实世界的3D视觉问题的近似推理生成模型的图像的基础上渲染的概率CAD(PCAD)程序的输出。我们的PCAD对象几何先验生成对应于合理对象的可变形3D网格,并应用仿射变换将它们放置在场景中。图像似然度基于特征空间中的相似性,该特征空间基于视觉文献中的标准中级图像表示。我们的推理算法集成了单站点和局部阻塞Metropolis-Hastings建议,Hamilton Monte Carlo和歧视性数据驱动的建议,从我们的模型生成的训练数据中学习。我们将这种方法应用于3D人体姿态估计和物体形状重建从单一的图像,实现定量和定性的性能改进超过国家的最先进的基线。
2014-07-04 cs.AI cs.CV stat.ML
Amodal Completion and Size Constancy in Natural Scenes
University of California, Berkeley(加州大学伯克利分校)
我们考虑的问题,丰富当前的目标检测系统与veridical对象的大小和相对深度估计从一个单一的图像。这方面存在一些技术挑战,例如遮挡、缺乏校准数据以及对象大小和距离之间的比例模糊。这些问题在以前的工作中没有得到全面的处理。在这里,我们建议通过建立在对象识别的进步和使用最近创建的大规模数据集来解决这些问题。我们首先介绍了非模态限界框完成的任务,其目的是推断图像中的对象实例的完整范围。然后,我们提出了一个概率框架,用于从可用的注释中学习特定于类别的对象大小分布,并利用这些与amodal完成相结合来推断新图像中的真实大小。最后,我们介绍了一个焦距预测方法,利用场景识别,以克服固有的缩放模糊性,我们展示了具有挑战性的现实世界场景的定性结果。
2015-10-01 cs.CV
Parallel Scale-wise Attention Network for Effective Scene Text Recognition
University of Kansas(堪萨斯大学);Sony Interactive Entertainment Global R&D(索尼互动娱乐全球研发部);Ryerson University(瑞尔森大学)
本文提出了一种新的场景文本图像的文本识别网络。许多现有技术的方法在文本编码器或解码器中采用注意力机制来进行文本对齐。虽然基于编码器的注意力产生有希望的结果,这些计划继承了显着的局限性。它们顺序地执行特征提取(FE)和视觉注意(VA),这限制了注意力机制仅依赖于FE最终单尺度输出。此外,注意过程的利用仅限于直接将其应用于单尺度特征图。为了解决这些问题,我们提出了一种新的多尺度和基于编码器的注意力网络,用于并行执行多尺度FE和VA的文本识别。多尺度通道之间也会进行规律性的融合,共同发展协调的知识。标准基准测试的定量评估和鲁棒性分析表明,在大多数情况下,该网络的性能优于最先进的。
2021-04-25 cs.AI cs.CV
MOSAIC: Generating Consistent, Privacy-Preserving Scenes from Multiple Depth Views in Multi-Room Environments
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心);Hanyang University(翰阳大学)
本文提出MOSAIC模型,通过多视图重叠场景对齐与隐式一致性机制,仅从深度图像生成多房间室内环境的隐私保护数字孪生,无需额外训练即可扩展至复杂场景并提升生成质量。
2025-11-06 cs.CV
Inter-object Discriminative Graph Modeling for Indoor Scene Recognition
Shandong University(山东大学);School of Control Science and Engineering(控制科学与工程学院);Center for Robotics(机器人中心);Engineering Research Center of Intelligent Unmanned System(智能无人系统工程研究中心)
针对室内场景识别中对象共存导致的特征混淆问题,提出利用对象间判别性原型和图网络增强场景特征,在多个数据集上取得最优结果。
2024-03-01 cs.CV
Deep Person Re-identification for Probabilistic Data Association in Multiple Pedestrian Tracking
Cornell University(康奈尔大学)
我们提出了一种用于基于视觉的多行人跟踪的数据关联方法,使用深度卷积特征来根据外观区分不同的人。这些重新识别(re-ID)特征被学习,使得它们对于诸如旋转、平移和背景中的变化之类的变换是不变的,从而允许一致地识别移动通过场景的行人。我们将重新ID功能到一个通用的数据关联似然模型的多人跟踪,实验验证此模型,使用它来执行跟踪在两个评估视频序列,并检查性能的改善相比,获得了几个基线方法。我们的研究结果表明,使用深度人re-ID进行数据关联大大提高了跟踪鲁棒性,以应对遮挡和路径交叉等挑战。
2018-10-19 cs.CV
MoE-SPNet: A Mixture-of-Experts Scene Parsing Network
The University of Sydney(悉尼大学);University of Pittsburgh(匹兹堡大学)
场景分析是理解场景语义的一个不可或缺的组成部分。传统的方法依赖于手工制作的局部特征和概率图形模型,以结合局部和全局线索。近年来,基于全卷积神经网络的方法在场景分析方面取得了新的进展。这些方法共同的一个重要策略是由深度卷积神经网络产生的分层特征的聚合。然而,典型的算法通常通过级联或线性组合来聚合分层卷积特征,这不能充分利用多尺度特征中上下文信息的分散性和场景的空间不均匀性。在本文中,我们提出了一个混合专家模型场景解析网络(MoE-SPNet),它包含一个卷积的混合专家模型层,以评估来自不同层次和不同空间位置的特征的重要性。此外,我们提出了一个变种的混合专家模型称为自适应分层特征聚合(AHFA)机制,可以纳入现有的场景解析网络,使用跳过连接融合功能层明智的。在所提出的网络中,在每个空间位置的不同级别的功能自适应地重新加权,根据本地结构和周围的上下文信息之前聚合。我们基于FCN-8 s和DeepLab-ASPP两种基线模型,在PASCAL VOC 2012和SceneParse 150两个场景解析数据集上验证了所提方法的有效性。
2018-06-19 cs.CV
Human-centric Indoor Scene Synthesis Using Stochastic Grammar
UCLA Center for Vision, Cognition, Learning and Autonomy(加州大学洛杉矶分校视觉、认知、学习与自主中心);UPenn Computer Graphics Group(宾夕法尼亚大学计算机图形学组)
我们提出了一种以人为中心的方法来采样和合成3D房间布局及其2D图像,以获得大规模的2D/3D图像数据与完美的每像素地面实况。提出了一种属性空间与或图(S-AOG)来表示室内场景。S-AOG是一个概率文法模型,其中的终端节点是对象实体。人类上下文作为上下文关系在终端节点上用马尔可夫随机场(MRF)编码。我们从室内场景数据集学习分布,并使用Monte Carlo Markov Chain对新布局进行采样。实验表明,我们的方法可以基于三个标准鲁棒地对各种各样的现实房间布局进行采样:(i)与最先进的房间布置方法相比的视觉现实主义,(ii)关于地面实况的示能图的准确性,以及(ii)由人类受试者评估的合成房间的功能性和自然性。该代码可在https://github.com/SiyuanQi/human-centric-scene-synthesis上获得。
2018-08-25 cs.CV