PRISM-DP: Spatial Pose-based Observations for Diffusion-Policies via Segmentation, Mesh Generation, and Pose Tracking
Department of Computer Science, Yale University（耶鲁大学计算机科学系）
提出PRISM-DP框架，利用分割、网格生成和位姿跟踪模型提取物体空间位姿作为紧凑观测，免除了手动重建网格的需求，在开放集环境中实现了优于图像策略且媲美真实状态信息的扩散策略学习。
2025-09-17 cs.RO
Sequential Joint Shape and Pose Estimation of Vehicles with Application to Automatic Amodal Segmentation Labeling
the Ohio State University（俄亥俄州立大学）；Cornell University（康奈尔大学）
形状和姿态估计是自动驾驶汽车充分理解其周围环境的关键感知问题。解决该问题的一个基本挑战是不完整的传感器信号（例如，激光雷达扫描），特别是对于遥远或遮挡的物体。在本文中，我们提出了一种新的算法来解决这一挑战，该算法明确地利用了在连续时间内捕获的传感器信号：连续信号可以提供有关对象的更多信息，包括不同的视点及其运动。通过递归神经网络对连续信号进行编码，我们的算法不仅改善了形状和姿态估计，而且还产生了一个标记工具，可以使自动驾驶研究中的其他任务受益。具体来说，在我们的算法的基础上，我们提出了一种新的管道来自动注释高质量的标签，用于图像上的非模态分割，手动注释是困难和费力的。我们的代码和数据将公开提供。
2022-07-02 cs.RO
Probabilistic Category-Level Pose Estimation via Segmentation and Predicted-Shape Priors
Duke University（杜克大学）；Brown University（布朗大学）
我们介绍了一种新的方法，类别级的姿态估计，产生的分布预测的姿态，通过整合3D形状估计从生成对象模型与分割信息。给定对象的输入深度图像，我们的可变时间方法使用混合密度网络架构来产生3DOF姿态上的多模态分布;然后将该分布与先验概率相结合，以鼓励观察到的输入和预测的对象姿态之间的轮廓一致性。我们的方法在类别级3DOF姿态估计方面显着优于当前最先进的技术--输出点估计，并且没有显式地包含形状和分割信息--在Pix 3D和ShapeNet数据集上进行测量。
2019-05-28 cs.CV cs.RO
LIDAR data based Segmentation and Localization using Open Street Maps for Rural Roads
Texas A&M University（德州农工大学）
准确的位姿估计是所有移动机器人必须具备的基本能力，以便在给定的环境中鲁棒地穿越。就像人类一样，这种能力取决于机器人对给定场景的理解。对于自动驾驶车辆（AV），预先创建的详细3D地图被广泛用于增强感知能力并基于当前传感器测量来估计姿态。然而，这种方法不太适合于联系稀少和覆盖面积大的农村社区。为了应对在农村环境中定位车辆的挑战，本文提出了一个农村道路场景的数据集，以及使用激光雷达点云快速分割道路的方法。与来自开放街道地图（OSM）的道路网络信息相一致的分割的点云用于姿态估计。我们提出了两种测量模型，与最先进的方法进行比较，定位OSM跟踪以及全球定位。实验结果表明，该算法能够在2平方米的范围内估计出机器人的姿态。平均精度为6.5米。
2022-02-19 cs.RO
3D Semantic Mapping from Arthroscopy using Out-of-distribution Pose and Depth and In-distribution Segmentation Training
Queensland University of Technology（昆士兰科技大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）
微创手术（MIS）有许多记录的优点，但外科医生与现场的有限视觉接触可能是有问题的。因此，可以帮助外科医生导航的系统，例如可以产生3D语义图的方法，可以补偿上述限制。理论上，我们可以借用为机器人开发的3D语义映射技术，但这需要找到MIS中以下挑战的解决方案：1）语义分割，2）深度估计，3）姿态估计。在本文中，我们提出了第一个三维语义映射系统，从膝关节镜，解决了上述三个挑战。使用分布外的非人类数据集，其中姿势可以被标记，我们使用自监督和监督损失联合训练深度+姿势估计器。使用分布中的人类膝关节数据集，我们训练一个全监督的语义分割系统来将关节镜图像像素标记为股骨、ACL和半月板。以人类膝盖的测试图像为例，我们将这两个系统的结果结合起来，自动创建人类膝盖的3D语义图。这项工作的结果为术中3D语义映射的生成、与术前数据的配准以及机器人辅助关节镜打开了道路
2021-06-10 cs.CV cs.RO
A real-time RGB-D perception pipeline for autonomous impact hammers in mining: self-filtering, rock segmentation and rock-breaking poses generation
Advanced Mining Technology Center (AMTC) and Department of Electrical Engineering, Universidad de Chile（智利大学先进采矿技术中心（AMTC）和电气工程系）
本文针对采矿中冲击锤操作自动化问题，提出实时RGB-D感知管道，结合图像实例分割与点云处理，能生成破岩姿态和3D表示，在嵌入式硬件上约10Hz运行，实验证明适用于实时自主冲击锤操作。
2026-07-24 cs.CV cs.RO
Large-scale 6D Object Pose Estimation Dataset for Industrial Bin-Picking
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））；University of Stuttgart（斯图加特大学）
在本文中，我们介绍了一个新的公共数据集的6D物体姿态估计和实例分割的工业bin-picking。该数据集包括合成场景和真实世界场景。对于两者，提供点云、深度图像和包括6D姿态（位置和取向）、可见性分数和每个对象的分割掩模的注释。随着原始数据，提出了一种方法，用于精确注释现实世界的场景。据我们所知，这是第一个用于6D对象姿态估计和用于bin-picking的实例分割的公共数据集，其中包含用于基于学习的方法的充分注释的数据。此外，它通常是用于对象姿态估计的最大公共数据集之一。该数据集可在http://www.bin-picking.ai/en/dataset.html上公开获得。
2019-12-06 cs.AI cs.CV cs.RO
NeSF: Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes
Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了NeSF，一种从单独的RGB图像产生3D语义场的方法。代替经典的3D表示，我们的方法建立在隐式神经场景表示，其中3D结构是由逐点函数捕获的最近的工作。我们利用这种方法来恢复3D密度场，然后我们训练一个3D语义分割模型的监督构成的2D语义地图。尽管仅在2D信号上进行训练，但我们的方法能够从新颖的相机姿势生成3D一致的语义地图，并且可以在任意3D点处查询。值得注意的是，NeSF与任何产生密度场的方法兼容，并且其精度随着密度场质量的提高而提高。我们的实证分析表明，在复杂的、逼真渲染的合成场景上，具有竞争力的2D和3D语义分割基线的质量相当。我们的方法是第一个提供真正密集的3D场景分割，只需要2D监督的训练，不需要任何语义输入的推理新的场景。我们鼓励读者访问该项目的网站。
2021-12-03 cs.CV cs.RO
Pose Estimation for Texture-less Shiny Objects in a Single RGB Image Using Synthetic Training Data
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区）；The Chinese University of Hong Kong（香港中文大学）；The State Key Laboratory of Robotics and System, Harbin Institute of Technology（哈尔滨工业大学机器人学与系统国家重点实验室）
在工业领域中，多个无纹理发光部件的位姿估计是一个有价值但具有挑战性的任务。在这种特定的场景中，利用关键点或其他纹理信息是不切实际的，因为它们中的大多数不是目标的实际特征，而是周围环境的反射。此外，颜色的相似性也对分割提出了挑战。在这篇文章中，我们提出将姿态估计过程分为三个阶段：目标检测，特征检测和姿态优化。利用卷积神经网络进行目标检测。考虑到表面纹理的可靠性，我们利用轮廓信息来估计姿态。由于传统的基于轮廓的方法是不适用于聚类的金属零件，由于分割的困难，我们使用密集的离散点沿金属零件边缘作为语义关键点的轮廓检测。然后，我们利用关键点信息和CAD模型来计算视图中每个对象的6D姿态。深度学习方法的典型实现不仅需要大量的训练数据，而且还依赖于密集的人力来标记数据集。因此，我们提出了一种方法来自动生成数据集和标记它们。尽管没有使用任何真实世界的照片进行训练，但一系列实验表明，建立在合成数据上的算法在真实环境中表现良好。
2019-09-23 cs.RO
Unknown Object Segmentation through Domain Adaptation
Wuhan University（武汉大学）；University of the West of England（西英格兰大学）
在杂乱场景中分割未知物体的能力对机器人抓取有着深远的影响。深度学习的兴起极大地改变了机器人抓取的管道，从基于模型的方法到数据驱动的流，这通常需要从仿真或真实世界的例子中收集大规模的抓取数据。在本文中，我们提出了一个模拟到真实的框架，将在模拟中学习的对象分割模型转移到现实世界中。首先，在仿真中收集数据样本，包括RGB，6D姿态和点云。其次，我们还提出了一种基于GAN的领域自适应未知目标分割方法，该方法由图像平移模块和图像分割模块组成。图像平移模块用于缩小真实感差距，分割模块负责分割模板的生成。我们使用上述方法在一个bin-picking场景中对未知对象进行分割实验。实验结果表明，仿真学习的分割模型可以用于实际数据的分割。
2021-08-09 cs.RO
TACS-Graphs: Traversability-Aware Consistent Scene Graphs for Ground Robot Localization and Mapping
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；KI-R（智能机器人研究室）；URobotics Corp.（URobotics公司）
提出TACS-Graphs框架，利用地面机器人可通行性改进场景图房间分割，解决欠分割和过分割问题，提升回环检测效率与位姿估计精度。
2025-10-16 cs.RO
Deep Workpiece Region Segmentation for Bin Picking
Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所）；University of Stuttgart（斯图加特大学）
对于大多数工业箱拾取解决方案，通过将CAD模型与从3D传感器获得的点云进行匹配来定位工件的位姿。从点云中的箱底部区分平坦工件对工件的定位提出了挑战，这导致错误或幻影检测。在本文中，我们提出了一个框架，解决了这个问题，自动分割工件区域从非工件区域的点云数据。它是通过应用在模拟和真实数据上训练的完全卷积神经网络实时的完成的。我们的新技术，自动生成真实的点云标签的真实数据已被标记。随着实时的工件分割，我们的框架还有助于提高检测到的工件的数量和估计正确的对象姿态。此外，由于用于对象姿态估计的搜索空间的减小，它将计算时间减少了约1 s。
2019-09-08 cs.CV cs.LG cs.RO
BOP Challenge 2023 on Detection, Segmentation and Pose Estimation of Seen and Unseen Rigid Objects
Meta；Google（谷歌公司）；ENPC（巴黎国立高等工程技术学院）；Tsinghua University（清华大学）；Niantic（Niantic公司）；MVTec（MVTec公司）；Heidelberg University（海德堡大学）；CTU in Prague（布拉格捷克技术大学）
BOP Challenge 2023作为第五届相关公开竞赛，新增训练不可见物体的相关任务，GenFlow、GPose等方法取得性能突破，可见物体6D定位准确率自2017年以来提升超50%。
2024-04-16 cs.CV cs.RO
Deep-6DPose: Recovering 6D Object Pose from a Single RGB Image
The University of Adelaide（阿德莱德大学）
从RGB图像中检测物体及其6D姿态是许多机器人应用的重要任务。虽然深度学习方法在视觉目标检测和分割方面取得了重大进展，但物体姿态估计任务仍然具有挑战性。在本文中，我们介绍了一个端到端的深度学习框架，名为Deep-6DPose，它可以联合检测，分割，最重要的是从单个RGB图像中恢复对象实例的6D姿态。特别是，我们扩展了最新的最先进的实例分割网络Mask R-CNN，其中包含一个新的姿态估计分支，可以直接回归6D对象姿态，而无需任何后细化。我们的关键技术贡献是解耦的姿态参数到平移和旋转，使旋转可以通过李代数表示回归。由此产生的姿势回归损失是差分的且不受约束的，使得训练易于处理。在两个标准姿态基准数据集上的实验表明，我们提出的方法与最先进的基于RGB的多阶段姿态估计方法相比是有利的。重要的是，由于端到端架构，Deep-6DPose比竞争对手的多阶段方法快得多，提供了10 fps的推理速度，非常适合机器人应用。
2018-02-28 cs.CV cs.RO
Low-cost LIDAR based Vehicle Pose Estimation and Tracking
Carnegie Mellon University（卡内基梅隆大学）
通过低成本的LIDAR检测周围的车辆已经引起了极大的关注。在低成本LIDAR中，车辆呈现多层L形。基于我们以前的优化/标准为基础的L形拟合算法，我们在这里提出了一个数据驱动和基于模型的方法来鲁棒的车辆分割和跟踪。新方法使用T-联动RANSAC采取有限数量的噪声数据，并对噪声进行鲁棒分割。与我们以前的方法相比，T-Linkage RANSAC对观测不确定性更宽容，即，被观察目标的边数，并摆脱了L形假设。此外，车辆跟踪系统与多模型关联（MMA）的分割结果，它提供了平滑的跟踪对象的轨迹。来自低成本多层LIDAR的手动标记数据集也将与论文一起发布。在数据集上的实验表明，新方法优于以前的基于多准则。新算法也可以实时运行。
2019-10-03 cs.CV cs.RO
Indoor Navigation Assistance for Visually Impaired People via Dynamic SLAM and Panoptic Segmentation with an RGB-D Sensor
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
探索不熟悉的室内环境并避开障碍物对视障人士来说是一项挑战。目前，有几种方法实现了避免静态障碍物的基础上室内场景的映射。为了解决动态障碍物的识别问题，我们提出了一个辅助系统与RGB-D传感器检测场景的动态信息。一旦系统捕获图像，就执行全景分割以获得先前的动态对象信息。利用从图像中提取的稀疏特征点和深度信息，可以估计用户的姿势。在自我运动估计之后，可以识别和跟踪动态目标。然后，跟踪的动态对象的姿态和速度可以估计，这是通过声学反馈传递给用户。
2022-04-03 cs.CV cs.HC cs.RO
Multi-view Self-supervised Deep Learning for 6D Pose Estimation in the Amazon Picking Challenge
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Google（谷歌）；AutoX
近年来，机器人仓库自动化引起了人们的极大兴趣，也许最明显的是亚马逊拣选挑战赛（APC）。一个完全自主的仓库取放系统需要强大的视觉，能够在杂乱的环境、自遮挡、传感器噪声和各种各样的物体中可靠地识别和定位物体。在本文中，我们提出了一种利用多视图RGB-D数据和自监督数据驱动学习来克服这些困难的方法。该方法是麻省理工学院-普林斯顿大学团队系统的一部分，该系统在APC 2016上分别在装载和拣选任务中获得第三和第四名。在该方法中，我们分割和标记的多个视图的场景与一个完全的卷积神经网络，然后拟合预扫描的三维物体模型的分割得到的6D对象的姿态。训练用于分割的深度神经网络通常需要大量的训练数据。我们提出了一种自监督的方法来生成一个大的标记数据集，而无需繁琐的手动分割。我们证明，我们的系统可以可靠地估计各种情况下的对象的6D姿态。所有代码、数据和基准测试都可以在http://apc.cs.princeton.edu/上获得
2017-05-07 cs.CV cs.LG cs.RO
CLA-NeRF: Category-Level Articulated Neural Radiance Field
National Tsing Hua University（台湾清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Appier Inc.（沛星互动科技股份有限公司）
我们提出了CLA-NeRF--一个类别级的关节式神经辐射场，可以执行视图合成，部分分割和关节式姿态估计。CLA-NeRF在对象类别级别进行训练，不使用CAD模型，也不使用深度，而是使用一组具有地面真实相机姿势和零件段的RGB图像。在推断期间，它只需要几个RGB视图（即，Few-Shot）来推断对象部分分割和神经辐射场。给定一个关节姿态作为输入，CLA-NeRF可以执行关节感知体渲染，以生成任何相机姿态下的相应RGB图像。此外，可以通过逆渲染来估计对象的关节姿态。在我们的实验中，我们评估了五个类别的合成和真实世界的数据框架。在所有情况下，我们的方法都显示了逼真的变形结果和准确的关节姿态估计。我们相信，这两个Few-Shot铰接对象渲染和铰接姿态估计打开大门，机器人感知和互动看不见的铰接对象。
2022-03-04 cs.CG cs.CV cs.RO
Semantic Segmentation and Depth Estimation for Real-Time Lunar Surface Mapping Using 3D Gaussian Splatting
Department of Aeronautics and Astronautics（航空航天系）
本文提出一种实时制图框架，结合密集感知模型与3D高斯溅射表示，在挑战性环境下实现高精度月球表面制图。
2026-03-18 cs.CV cs.RO
Real-Time Object Pose Estimation with Pose Interpreter Networks
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Charles Stark Draper Laboratory（查尔斯·斯塔克·德雷珀实验室）；Dexai Robotics（Dexai Robotics公司（德克赛机器人公司））
在这项工作中，我们介绍了姿态解释器网络的6自由度对象姿态估计。与其他基于CNN的姿态估计方法（需要昂贵的注释对象姿态数据）相比，我们的姿态解释器网络完全基于合成姿态数据进行训练。我们使用对象掩码作为中间表示来连接真实和合成。我们表明，当与在RGB图像上训练的分割模型相结合时，我们的综合训练的姿势解释器网络能够推广到真实数据。我们的对象姿态估计端到端系统在实时RGB数据上实时运行（20 Hz），而不使用深度信息或ICP细化。
2018-08-03 cs.CV cs.RO
ClusterNet: 3D Instance Segmentation in RGB-D Images
Stanford University（斯坦福大学）
我们提出了一种实例级分割的方法，使用RGB-D数据作为输入，并提供有关场景中单个对象的位置，几何形状和数量的详细信息。这种理解水平是自主机器人的基础。它能够在现实世界的巨大不确定性下做出安全和稳健的决策。在我们的模型中，我们建议使用对象占用函数的一阶和二阶矩来表示对象实例。我们训练一个沙漏深度神经网络（DNN），其中输出中的每个像素投票对应对象中心的3D位置以及对象的大小和姿势。最后通过矩空间聚类实现实例分割。以对象为中心的训练损失在聚类的输出上定义。我们的方法优于国家的最先进的实例分割方法对我们的合成数据集。我们表明，我们的方法很好地概括了现实世界的数据，实现视觉上更好的分割结果。
2018-09-19 cs.AI cs.CV cs.LG
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
我们引入了用于对象识别的Few-Shot对象学习（FewSOL）数据集，每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体，每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外，使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了（i）Few-Shot对象分类和（ii）联合对象分割和Few-Shot分类，使用我们的数据集进行少样本学习和元学习。评估结果表明，机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题，如分类，检测和分割，形状重建，姿态估计，关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
