Camera-LiDAR Fusion with Latent Contact for Place Recognition in Challenging Cross-Scenes
Southeast University(东南大学)
针对跨场景地点识别中视角、季节变化等挑战,提出三通道描述符,含图像、点云及基于潜在接触的双阶段融合分支,在多个数据集上达到最先进性能。
2023-10-16 cs.CV cs.RO
Occupancy-Grounded Room Segmentation for Hierarchical 3D Scene Graphs
University of Turku(图尔库大学);Centre for Artificial Intelligence, Zürich University of Applied Sciences(苏黎世应用科学大学人工智能中心)
提出一种基于占用分解的房间节点锚定方法,构建分层3D场景图,在Matterport3D数据集上相比基线方法恢复了更多房间实例。
2026-06-15 cs.RO
Beyond Placement and Articulation: Usage-Driven Code Scenes for Embodied Interaction
Meituan(美团)
针对现有代码场景生成方法未建模场景功能使用的问题,提出RoomWright框架,通过使用驱动型物体推理与代码智能体实现可执行、可编辑的仿真就绪3D场景,为具身AI与策略学习提供交互式环境。
2026-08-20 cs.CV cs.RO
GOTPR: General Outdoor Text-based Place Recognition Using Scene Graph Retrieval with OpenStreetMap
Seoul National University(首尔国立大学)
GOTPR利用场景图和OpenStreetMap替代点云实现户外地点识别,在保持精度的同时大幅降低存储需求,并可在数秒内完成城市级处理。
2025-05-22 cs.CV cs.RO
3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个统一的表示可操作的空间感知:三维动态场景图。场景图是有向图,其中节点表示场景中的实体(例如,对象、墙壁、房间),并且边表示节点之间的关系(例如,包含、邻接)。动态场景图(DSG)扩展了这一概念,以表示动态场景与移动代理(例如人类,机器人),并包括可操作的信息,支持规划和决策(例如时空关系,拓扑结构在不同的抽象层次)。我们的第二个贡献是提供了第一个全自动的空间感知引擎(SPIN),以建立一个DSG从视觉惯性数据。我们集成了最先进的技术,对象和人类检测和姿态估计,我们描述了如何鲁棒地推断对象,机器人和人类节点在拥挤的场景。据我们所知,这是第一篇调和视觉惯性SLAM和密集人体网格跟踪的论文。此外,我们提供的算法来获得室内环境(如场所,结构,房间)及其关系的分层表示。我们的第三个贡献是在一个照片般逼真的基于Unity的模拟器中演示所提出的空间感知引擎,在那里我们评估其鲁棒性和表现力。最后,我们讨论了我们的建议对现代机器人应用的影响。3D动态场景图可以对规划和决策、人机交互、长期自治和场景预测产生深远的影响。视频摘要可在https://youtu.be/SWbofjhyPzI上获得
2020-06-16 cs.AI cs.CV cs.RO
A Multi-task Convolutional Neural Network for Autonomous Robotic Grasping in Object Stacking Scenes
机器人自主抓取在智能机器人技术中占有重要地位。然而,如何帮助机器人在物体堆叠场景中抓取特定物体仍然是一个悬而未决的问题,因为对于自主机器人来说,存在两个主要挑战:(1)知道抓取什么以及如何抓取是一项综合任务;(2)难以处理目标被其他物体隐藏或覆盖的情况。本文提出了一种用于机器人自主抓取的多任务卷积神经网络,它可以帮助机器人在物体堆叠场景中发现目标,制定抓取计划,并最终逐步抓取目标。我们将基于视觉的机器人抓取检测和视觉操作关系推理集成在一个深度网络中,构建了自主机器人抓取系统。实验结果表明,Baxter机器人在物体杂乱场景、熟悉堆垛场景和复杂堆垛场景中的自主抓取成功率分别为90.6%、71.9%和59.4%。
2019-03-02 cs.RO
FreSCo: Frequency-Domain Scan Context for LiDAR-based Place Recognition with Translation and Rotation Invariance
Zhejiang University(浙江大学)
位置识别在机器人和车辆的重新定位和环路闭合检测任务中起着至关重要的作用。本文寻求一个定义良好的全局描述符基于激光雷达的位置识别。与局部描述符相比,全局描述符在城市道路场景中表现出显着的性能,但通常是视点依赖的。为此,我们提出了一个简单而强大的全局描述符称为FreSCo,分解重访过程中的视点差异,并利用傅立叶变换和循环移位技术实现平移和旋转不变性。此外,提出了一种快速的两阶段位姿估计方法,利用从原始数据中提取的紧凑的二维点云来估计位置检索后的相对位姿。实验表明,FreSCo表现出优越的性能比同期的方法对序列的不同场景从多个数据集。代码将在https://github.com/soytony/FreSCo上公开发布。
2022-09-27 cs.RO
Transferring Experience from Simulation to the Real World for Precise Pick-And-Place Tasks in Highly Cluttered Scenes
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA))
在本文中,我们介绍了一种新的基于学习的方法,用于在高度混乱的场景中抓取已知的刚性物体,并根据深度图像精确放置它们。我们的放置质量网络(PQ-Net)在神经网络的单个前向传递中以92 fps的速度同时估计多个对象的每个自动生成的抓取姿势的对象姿势和质量。所有抓取和放置试验都在物理模拟中执行,并且使用域随机化将获得的经验转移到现实世界中。我们证明,我们的政策成功地转移到现实世界。PQ-Net在抓取成功率方面优于其他无模型方法,并在没有任何人为干预的情况下自动扩展到任意对称的新对象。
2021-01-12 cs.AI cs.CV cs.RO
Learning 6-DoF Grasping and Pick-Place Using Attention Focus
College of Computer and Information Science(计算机与信息科学学院);Northeastern University(东北大学)
我们解决了一类操作问题,机器人感知的场景与深度传感器,并可以移动其末端执行器在一个空间与六个自由度- 3D位置和方向。我们的方法是制定一个马尔可夫决策过程(MDP)的问题,抽象但普遍适用的状态和动作表示。找到一个好的MDP解决方案需要对允许的操作添加约束。我们开发了一组特定的约束条件,称为分层$\text{SE}(3)$采样(HSE 3S),它使机器人学习一系列的目光,将注意力集中在任务相关的部分场景。我们证明了我们的方法在三个具有挑战性的拾取任务(新的对象在混乱和不平凡的地方)在模拟和真实的机器人,即使所有的训练是在模拟中完成的有效性。
2018-09-27 cs.RO
Implicit Shape Model Trees: Recognition of 3-D Indoor Scenes and Prediction of Object Poses for Mobile Robots
University of Aberdeen(阿伯丁大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出ISM树模型及配套识别与生成算法,解决移动机器人在杂乱环境中联合进行三维室内场景识别与物体位姿预测的问题,有效降低了误报并提升了主动视觉搜索效率。
2023-10-20 cs.RO
TextInPlace: Indoor Visual Place Recognition in Repetitive Structures with Scene Text Spotting and Verification
Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室);University of Cambridge(剑桥大学)
针对室内重复结构导致的视觉位置识别困难,提出TextInPlace框架,通过集成场景文本检测与双分支架构提取文本特征进行重排序,并构建Maze-with-Text基准,显著提升了识别性能。
2025-08-11 cs.CV cs.RO
Learning Object Placements For Relational Instructions by Hallucinating Scene Representations
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
机器人与人类共存于他们的环境中,并为他们提供服务,需要与他们进行交互的能力。对这种机器人的一个特殊要求是,它们能够理解空间关系,并能够根据用户表达的空间关系放置物体。在这项工作中,我们提出了一个卷积神经网络,用于从单个输入图像中估计一组空间关系的像素级对象放置概率。在训练过程中,我们的网络通过将幻觉高级场景表示分类为辅助任务来接收学习信号。与以前的方法不同,我们的方法不需要对象的像素关系概率或3D模型的地面真实数据,这显着扩展了在实际应用中的适用性。我们使用真实世界的数据和人机实验获得的结果表明,我们的方法在推理的最佳方式来放置对象再现空间关系的有效性。我们的实验视频可以在https://youtu.be/zaZkHTWFMKM上找到
2020-02-21 cs.AI cs.CV cs.RO
WHU-PCPR: A cross-platform heterogeneous point cloud dataset for place recognition in complex urban scenes
School of Advanced Manufacturing, Nanchang University(南昌大学先进制造学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);Department of Geomatics Engineering, University of Calgary(卡尔加里大学测绘工程系);School of Earth Sciences and Engineering, Hohai University(河海大学地球科学与工程学院);School of Geography and Environment, Jiangxi Normal University(江西师范大学地理与环境学院);School of Information Engineering, Nanchang University(南昌大学信息工程学院);State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);Hubei Luojia Laboratory(湖北省珞珈实验室)
针对现有PCPR数据集在场景、平台和传感器方面缺乏多样性的问题,建立跨平台异构点云数据集WHU-PCPR,其具备独特特征。基于此对几种PCPR方法评估分析,讨论关键挑战与未来方向,推动相关研究发展。
2026-07-22 cs.CV cs.RO
Scene Retrieval for Contextual Visual Mapping
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);School of Electrical Engineering and Computer Science, Queensland University of Technology(昆士兰科技大学电气工程与计算机科学学院)
视觉导航根据地点图像的参考数据库(也称为“视觉地图”)定位查询地点图像。视觉地图特定区域的定位精度要求,“场景类”,根据环境和任务的上下文而变化。最先进的视觉映射无法通过显式地将场景类作为目标来反映这些要求。四个不同的场景类,包括人行横道和车站,确定在每个Nordland和圣卢西亚数据集。而不是重新训练单独的场景分类与这些重叠的场景类的斗争,我们作出了我们的第一个贡献:定义的问题“场景检索”。场景检索通过将单个查询图像与场景类的参考图像相关联,将图像检索扩展到在测试时定义的场景分类。我们的第二个贡献是一个三重训练的卷积神经网络(CNN)来解决这个问题,它将场景分类精度提高了7%,而不是预先训练用于场景识别的最先进的网络。第二个贡献是一个算法'DMC',结合我们的场景分类与距离和记忆的视觉映射。我们的分析表明,DMC包括64%以上的图像,我们所选择的场景类的视觉地图,而不仅仅是使用距离间隔映射。最后使用最先进的视觉位置描述符AMOS-Net,Hybrid-Net和NetVLAD来表明DMC在两个数据集上将场景类定位精度平均提高了3%,将其余地图图像的定位精度平均提高了10%。
2021-02-25 cs.CV cs.RO
SceneCut: Joint Geometric and Object Segmentation for Indoor Scenes
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
本文介绍了SceneCut,这是一种使用单个RGB-D图像联合发现先前未见过的对象和非对象表面的新方法。SceneCut对场景语义和几何形状的联合推理允许机器人在复杂场景中检测和分割对象实例,其中基于现代深度学习的方法无法分离对象实例,或者无法检测在训练期间未看到的对象。SceneCut自动将场景分解为表示对象或场景表面的有意义的区域。该分解是由统一的能量函数的对象和几何拟合。我们展示了如何利用分层分割树来有效地优化这个能量函数。此外,我们利用预先训练的面向卷积的边界网络来预测图像的准确边界,用于构建高质量的区域层次结构。我们在几种不同的室内环境中对SceneCut进行了评估,结果表明SceneCut的性能明显优于现有的所有方法。
2018-05-24 cs.CV cs.RO
SALSA: Swift Adaptive Lightweight Self-Attention for Enhanced LiDAR Place Recognition
NYU Tandon School of Engineering(纽约大学坦登工程学院)
提出SALSA框架,通过Sphereformer主干、自适应自注意力层和MLP混合器层高效聚合局部描述符生成场景描述符,在多个LiDAR位置识别数据集上实现实时且优于现有方法的检索与度量定位性能。
2024-07-30 cs.CV cs.RO
From Open Waters to Enclosed Cabins: ProteusVPR for Cross-Scene Visual Place Recognition in Maritime Perception and Cabin Inspection
Shanghai Jiaotong University(上海交通大学);COSCO SHIPPING Advanced Technology Institute(中远海运先进技术研究院);Shanghai Ship and Shipping Research Institute Co.LTD(上海船舶运输科学研究所);Tongji University(同济大学);Dalian Maritime University(大连海事大学)
提出ProteusVPR两阶段检索-细化框架,通过几何-视觉估计网络融合时序帧与几何描述符,在跨场景海洋环境下将平均定位误差降低60%以上。
2026-07-08 cs.CV cs.RO
LLM-enhanced Scene Graph Learning for Household Rearrangement
National University of Defense Technology(国防科技大学);Shenzhen University(深圳大学)
针对家庭场景整理依赖常识与用户偏好的需求,提出LLM增强场景图学习方法,构建功能可供性增强图实现错位物品检测与归置规划,在自建基准上达到最优性能。
2024-09-12 cs.CV cs.RO
IFTD: Image Feature Triangle Descriptor for Loop Detection in Driving Scenes
Huazhong University of Science and Technology(华中科技大学);Institute of Artificial Intelligence, Huazhong University of Science and Technology(华中科技大学人工智能研究院)
本文提出基于STD的图像特征三角形描述子IFTD,通过BEV投影关键点构建三角形描述子实现驾驶场景回环检测与4自由度位姿估计,在三个公开数据集上以低计算开销取得优于现有方法的鲁棒性和精度。
2024-06-12 cs.CV cs.RO
DetFlowTrack: 3D Multi-object Tracking based on Simultaneous Optimization of Object Detection and Scene Flow Estimation
Shanghai Jiao Tong University(上海交通大学)
三维多目标跟踪是无人机感知模块的重要组成部分。大多数方法独立地优化目标检测和数据关联。这些方法使网络结构复杂,限制了MOT精度的提高。提出了一种基于同时优化目标检测和场景流估计的三维MOT框架。在该框架中,提出了一个检测引导场景流模块,以缓解错误的帧间关联的问题。为了更准确地标注场景流,特别是在运动和旋转的情况下,提出了一种基于盒变换的场景流地面真值计算方法。在KITTI MOT数据集上的实验结果表明,该算法在极端运动和旋转下具有较好的鲁棒性。
2022-03-04 cs.CV cs.RO
BORM: Bayesian Object Relation Model for Indoor Scene Recognition
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);Hong Kong University of Science and Technology(香港科技大学)
场景识别是机器人感知的一项基本任务。对于人类来说,场景识别是合理的,因为人类对现实世界有着丰富的对象知识。将先验对象知识从人类转移到场景识别的想法是重要的,但仍然很少被利用。在本文中,我们提出了利用有意义的对象表示的室内场景表示。首先,我们利用改进的对象模型(IOM)作为基线,通过引入在具有与室内场景相关的丰富对象类别的ADE 20 K数据集上预训练的场景解析算法来丰富对象知识。为了分析对象同现和成对对象关系,我们从贝叶斯的角度制定了贝叶斯对象关系模型(BORM)的IOM。同时,我们将所提出的BORM与PlacesCNN模型结合起来,作为用于场景识别的组合贝叶斯对象关系模型(CBORM),并在简化的Places 365数据集和未经重新训练的SUN RGB-D数据集上显着优于最先进的方法,显示出所提出的方法具有出色的泛化能力。代码可以在https://github.com/hszhoushen/borm上找到。
2021-08-01 cs.CV cs.RO
Scene Classification in Indoor Environments for Robots using Context Based Word Embeddings
York University(约克大学)
场景分类已经在计算机视觉文献中用许多技术解决。然而,随着现场数据集中场景类数量的增加,在机器人技术的背景下实现高精度已经变得困难。在本文中,我们实现了一种将传统的深度学习技术与自然语言处理方法相结合的方法,以生成基于词嵌入的场景分类算法。我们使用的关键思想是,图像的上下文(场景中的对象)应该代表场景标签,这意味着一组对象可以帮助预测场景类。场景中存在的对象由矢量表示,并且基于场景中存在的对象对图像进行重新分类,以通过卷积神经网络(CNN)来细化初始分类。在我们的方法中,我们使用Places365数据集的简化预处理版本训练的模型来解决室内场景分类任务,并对我们通过使用GoPro相机捕获图像序列构建的真实世界数据集进行实证分析。我们还报告了使用我们的方法在Places365数据集的一个子集上获得的结果,并在现实环境中运行的机器人上部署了我们的方法。
2019-08-18 cs.CV cs.RO
Not Only Look But Observe: Variational Observation Model of Scene-Level 3D Multi-Object Understanding for Probabilistic SLAM
Automation and Systems Research Institute, Seoul National University(首尔国立大学自动化与系统研究所)
我们提出了NOLBO,变分观测模型估计三维多目标从二维Single Shot。以往的概率实例级理解主要考虑的是单目标图像,而不是多目标的Single Shot,对象与整个场景之间的关系没有得到关注。每个观察的客观性也很难加入他们的模型。因此,我们提出了一种方法来近似贝叶斯观察模型的场景级三维多目标理解。通过利用变分自动编码器(VAE),我们从整个场景中估计潜变量,这些潜变量遵循易处理的分布,同时暗示3D完整的形状和姿态。为了进行面向对象的数据关联和概率同时定位与地图构建(SLAM),我们的观测模型可以很容易地通过用潜在变量替换面向对象的特征来进行概率推理。
2020-02-04 cs.CV cs.RO
Zero-shot Reconstruction of In-Scene Object Manipulation from Video
University of Pennsylvania(宾夕法尼亚大学);University of Oxford(牛津大学)
本文提出了一种基于数据驱动模型的零样本方法,用于从视频中重建场景中的物体操作,通过两阶段优化实现手-物体运动的准确重建。
2025-12-22 cs.CV cs.RO
FRAME: Factored Retrieval via Attribute Readouts for Object-Centric Scene Memory
Seoul National University(首尔大学)
针对语言引导机器人场景记忆中的多属性组合检索问题,提出FRAME方法,将语言转化为属性权重,利用学习读出器聚合对象嵌入证据进行排序,在保留场景上超越基线并实现高效计算。
2026-09-09 cs.CV cs.RO
In pixels we trust: From Pixel Labeling to Object Localization and Scene Categorization
University of Alcalá(阿尔卡拉大学)
虽然在解决图像像素标记、目标检测和场景分类的问题方面已经取得了显著的进展,但是现有的方法通常分别解决它们。在本文中,我们建议从自下而上的角度来解决这些问题,我们只需要一个语义分割的场景作为输入。我们采用了基于ResNet深度网络的DeepLab架构,该架构利用多尺度输入来融合它们的响应,以执行场景的精确像素标记。这个语义分割掩码用于定位对象和识别场景,遵循两个简单而有效的策略。我们评估了我们解决方案的优势,对NYU Depth V2数据集进行了全面的实验评估。我们的方法实现了一个显着的利润率击败领先的结果的性能,定义了新的艺术状态,在这个基准的三个任务,包括场景理解:语义分割,目标检测和场景分类。
2018-07-19 cs.CV cs.RO
Object-Aware Guidance for Autonomous Scene Reconstruction
University of Science and Technology of China(中国科学技术大学);Shenzhen University(深圳大学);National University of Defense Technology(国防科技大学)
为了进行自主三维扫描和在线重建未知的室内场景,人们必须找到一个平衡之间的全局探索的整个场景和局部扫描的对象在it.In这项工作中,我们提出了一种新的方法,它提供了对象感知的指导自动扫描,探索,重建和理解一个未知的场景在一个导航通行证。我们的方法交错对象分析,以确定下一个最好的对象(NBO)的全球探索,和对象感知的信息增益分析计划下一个最好的视图(NBV)的本地扫描。首先,基于对象的分割方法被引入到通过多类图割最小化从当前场景表面提取语义对象。然后,感兴趣的对象(OOI)被识别为机器人旨在访问和扫描的NBO。然后,机器人利用NBV策略确定的视图对OOI进行精细扫描。当OOI被识别为完整对象时,它可以被形状数据库中最相似的3D模型替换。该算法迭代,直到所有的对象被识别和重建的场景。各种实验和比较表明,我们所提出的方法的可行性。
2018-05-20 cs.GR cs.RO
Scene-level Tracking and Reconstruction without Object Priors
Rutgers University(罗格斯大学)
我们提出的第一个实时系统能够跟踪和重建,单独,在一个给定的场景中的每一个可见的对象,没有任何形式的先验的刚性的对象,纹理存在,或对象类别。与以前的方法,如Co-Fusion和MaskFusion,首先将场景分割成单个对象,然后独立地处理每个对象相比,所提出的方法动态分割非刚性场景作为跟踪和重建过程的一部分。当新的测量结果表明拓扑结构发生变化时,重建的模型将实时更新以反映该变化。我们提出的系统可以提供实时的几何形状和变形的所有可见对象在一个新的场景中,这使得它可以无缝集成到众多现有的机器人应用程序,依赖于对象模型的把握和操纵。所提出的系统的能力证明在具有挑战性的场景,包含多个刚性和非刚性对象。
2022-10-07 cs.CV cs.GR cs.RO
Motion-based Object Segmentation based on Dense RGB-D Scene Flow
Stanford University(斯坦福大学)
给定两个连续的RGB-D图像,我们提出了一个模型,估计密集的3D运动场,也称为场景流。我们利用的事实是,在机器人操作的情况下,场景往往由一组刚性移动的对象。我们的模型联合估计(i)场景分割成未知但有限数量的对象,(ii)这些对象的运动轨迹和(iii)对象场景流。我们采用沙漏状的深层神经网络架构。在编码阶段,RGB和深度图像经历空间压缩和相关。在解码阶段,该模型输出三幅图像,其中包含相应对象中心的每像素估计以及对象平移和旋转。这形成了推断对象分割和最终对象场景流的基础。为了评估我们的模型,我们生成了一个新的具有挑战性的大规模合成数据集,该数据集专门针对机器人操作:它包含大量场景,其中包含一组非常多样化的同时移动的3D对象,并使用模拟的静态RGB-D相机进行记录。在定量实验中,我们表明,我们优于国家的最先进的场景流和运动分割方法在这个数据集。在定性实验中,我们展示了我们学习的模型如何转移到具有挑战性的现实世界场景中,在视觉上产生比现有方法更好的结果。
2018-07-24 cs.CV cs.LG cs.RO
Language-EXtended Indoor SLAM (LEXIS): A Versatile System for Real-time Visual Scene Understanding
Oxford Robotics Institute(牛津机器人研究所)
本文提出实时室内SLAM系统LEXIS,通过结合LLM开放词汇能力、CLIP特征与拓扑SLAM图,实现灵活房间理解、语义地点识别及回环优化,性能达到或超过SOTA。
2024-03-05 cs.CV cs.RO eess.IV
MessyKitchens: Contact-rich object-level 3D scene reconstruction
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学)
本文提出MessyKitchens数据集和Multi-Object Decoder方法,提升复杂场景中物体级3D重建的精度与物理合理性。
2026-09-24 cs.AI cs.CV cs.RO
Precise Object Placement with Pose Distance Estimations for Different Objects and Grippers
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA);Institute of Industrial Manufacturing and Management IFF, University of Stuttgart(斯图加特大学工业制造与管理研究所IFF)
本文介绍了一种新的方法,用于在高度混乱的场景中使用多个夹具抓取和精确放置各种已知的刚性物体。使用场景的单个深度图像,我们的方法估计多个6D对象姿势连同对象类、用于对象姿势估计的姿势距离、以及对于每个自动获得的抓握姿势与神经网络的单个前向传递的用于对象放置的目标姿势的姿势距离。通过将模型知识融入系统,我们的方法比最先进的无模型方法具有更高的抓取成功率。此外,我们的方法选择的把握,导致更精确的对象放置比以前的基于模型的工作。
2021-10-03 cs.AI cs.CV cs.RO
CODA: Depth-Aligned Scene Completion and Object Decomposition from a Single RGB-D Image
KAIST(韩国科学技术院);Samsung Heavy Industries Co., Ltd.(三星重工有限公司)
CODA提出从单张RGB-D图像先补全完整场景几何再分解物体的生成模型,通过两种3D接地机制减少漂移,在杂乱场景数据集上实现更准确重建和更高物体稳定性。
2026-09-23 cs.CV cs.LG cs.RO
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations
University of Oxford(牛津大学)
生成式潜变量模型正在成为机器人和强化学习中很有前途的工具。然而,即使在这些领域的任务通常涉及不同的对象,最先进的生成模型没有明确捕捉视觉场景的组成性质。最近的两个例外,MONet和IODINE,以无监督的方式将场景分解为对象。然而,它们的基本生成过程并不考虑组件的相互作用。因此,它们都不允许对小说场景进行有原则的采样。在这里,我们提出了GENESIS,第一个以对象为中心的生成模型的3D视觉场景能够分解和生成场景捕捉场景组件之间的关系。GENESIS参数化的空间GMM的图像是从一组以对象为中心的潜在变量,要么推断顺序摊销的方式或从自回归先验采样解码。我们训练GENESIS几个公开可用的数据集,并评估其性能的场景生成,分解,和半监督学习。
2020-11-23 cs.CV cs.LG cs.NE
3D Object Detection on Point Clouds using Local Ground-aware and Adaptive Representation of scenes' surface
NIO USA Inc(蔚来汽车美国公司)
提出了一种新颖的、自适应地面感知的、具有成本效益的3D目标检测流水线。本文介绍的地面表示与单平面对应物(使用单个平面对整个3D场景的表面进行建模的方法)相比,要精确得多,同时速度要快10倍。地面表示的新颖性在于在激光雷达感知问题中表示场景的地面表面的方式,以及计算它的(具有成本效益的)方式。此外,所提出的目标检测流水线建立在传统的两阶段目标检测模型的基础上,通过结合动态推理场景表面的能力,最终在两阶段激光雷达目标检测流水线中实现新的最先进的3D目标检测性能。
2020-06-26 cs.CV cs.LG cs.RO
Learning Object Arrangements in 3D Scenes using Human Context
Cornell University(康奈尔大学)
我们考虑在3D场景中学习对象安排的问题。这里的关键思想是学习对象如何根据它们的启示、易用性和可达性与人类姿势相关联。与对象-对象关系建模相反,人-对象关系建模在对象数量上线性缩放。我们根据3D空间特征设计了适当的密度函数来捕捉这一点。我们使用Dirichlet过程混合模型的变体来学习场景中人类姿势的分布,该模型允许在相同的对象类型中共享密度函数参数。然后我们可以根据这些有意义的人类姿势来推断房间中物体的排列。在我们对20个不同房间共47个物体的广泛实验中,我们的算法预测了正确的位置,平均误差为1.6米。在安排五个真实场景时,它获得了4.3/5的分数,而最佳基线方法为3.7。
2012-06-27 cs.CV cs.LG cs.RO