Towards Robust Semantic Segmentation of Accident Scenes via Multi-Source Mixed Sampling and Meta-Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
自动驾驶汽车利用城市场景分割来像人类一样理解现实世界并做出相应的反应。普通场景的语义分割在传统基准上的准确性有了显著的提高。然而，现实生活中的事故中有很大一部分具有异常场景，例如物体变形，翻倒和意外的交通行为。由于即使是很小的错误分割的驾驶场景可能会导致严重的威胁到人类的生命，在事故场景中，这些模型的鲁棒性是一个非常重要的因素，在确保智能交通系统的安全。在本文中，我们提出了一个多源元学习无监督领域自适应（MMUDA）框架，以提高分割Transformers器极端事故场景的泛化能力。在MMUDA中，我们使用多域混合采样来增强多个源域的图像（正常场景）与目标数据外观（异常场景）。为了训练我们的模型，我们在多源设置中插入和学习元学习策略，以增强分割结果的鲁棒性。我们进一步增强了分割骨干（SegFormer）与HybridASPP解码器设计，具有大窗口注意力空间金字塔池和条带池，有效地聚合长距离上下文依赖。我们的方法在DADA-seg基准测试中获得了46.97%的mIoU分数，超过了之前最先进的模型7.50%以上。代码将在https://github.com/xinyu-laura/MMUDA上公开。
2022-03-19 cs.CV cs.RO eess.IV
Aerial-PASS: Panoramic Annular Scene Segmentation in Drone Videos
State Key Laboratory of Optical Instrumentation, Zhejiang University, China（浙江大学光学仪器国家重点实验室）；Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology, Germany（卡尔斯鲁厄理工学院人机与机器人研究所）
对周围环境进行空中逐像素场景感知是无人机的一项重要任务。以往的研究工作主要采用传统的针孔摄像机或鱼眼摄像机作为成像器件。然而，这些成像系统不能同时实现大视场（FoV）、小尺寸和轻量化。为此，我们设计了一种具有全景环形透镜（PAL）的无人机系统，该系统具有体积小，重量轻，360度环形FoV的特点。设计了一种轻量级的全景环形语义分割神经网络模型，实现了高精度、实时的场景解析。此外，我们提出了第一个无人机视角的全景场景分割数据集Aerial-PASS，带有田径，田径等注释标签。各种实验表明，所设计的系统在航空全景场景解析中取得了令人满意的效果。特别是，我们提出的模型罢工之间的分割性能和推理速度合适，验证了公共街道场景和我们建立的空中场景数据集的一个很好的权衡。
2021-05-15 cs.CV cs.RO eess.IV
Towards a Domain Specific Language for a Scene Graph based Robotic World Model
Katholieke Universiteit Leuven（鲁汶天主教大学）
机器人世界模型表示是机器人应用的重要组成部分。然而，在模型驱动的工程工具链中不支持这种表示。本文提出了一种基于机器人场景图（RSG）方法的机器人世界模型领域专用语言（DSL）。RSG-DSL可以表达（a）应用特定场景配置，（b）语义场景结构，以及（c）加载到世界模型的实例中的计算实体的输入和输出。
2014-08-01 cs.RO
Robotic Scene Cloning:Advancing Zero-Shot Robotic Scene Adaptation in Manipulation via Visual Prompt Editing
Wuhan University（武汉大学）；University of Science and Technology of China（中国科学技术大学）；Dexmal；The Hong Kong Polytechnic University（香港理工大学）
机器人场景克隆通过视觉提示编辑提升零样本机器人场景适应能力，实现跨场景的高效操作性能
2026-03-10 cs.RO
A Multi-task Convolutional Neural Network for Autonomous Robotic Grasping in Object Stacking Scenes
机器人自主抓取在智能机器人技术中占有重要地位。然而，如何帮助机器人在物体堆叠场景中抓取特定物体仍然是一个悬而未决的问题，因为对于自主机器人来说，存在两个主要挑战：（1）知道抓取什么以及如何抓取是一项综合任务;（2）难以处理目标被其他物体隐藏或覆盖的情况。本文提出了一种用于机器人自主抓取的多任务卷积神经网络，它可以帮助机器人在物体堆叠场景中发现目标，制定抓取计划，并最终逐步抓取目标。我们将基于视觉的机器人抓取检测和视觉操作关系推理集成在一个深度网络中，构建了自主机器人抓取系统。实验结果表明，Baxter机器人在物体杂乱场景、熟悉堆垛场景和复杂堆垛场景中的自主抓取成功率分别为90.6%、71.9%和59.4%。
2019-03-02 cs.RO
Multi-View Fusion for Multi-Level Robotic Scene Understanding
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个多层次的场景感知机器人操作系统。给定手持相机RGB图像的序列，系统计算三种类型的信息：1）场景中所有表面的点云表示，用于避障的目的; 2）来自对应于原始形状的类别的未知对象的粗略姿态（例如，长方体和圆柱体）;以及3）已知对象的全6自由度姿态。通过开发和融合这些领域的最新技术，我们提供了一个丰富的场景表示的机器人意识。我们展示了这些模块的重要性，它们的互补性，以及该系统在机器人操作的背景下的潜在好处。
2021-10-14 cs.RO
The Robotic Vision Scene Understanding Challenge
Australian Research Council Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）；QUT Centre for Robotics（昆士兰科技大学机器人中心）
能够探索环境并了解其中所有物体的位置和类型对于必须与人类密切互动的室内机器人平台非常重要。然而，由于缺乏标准化测试，很难评估这一领域的进展，而由于需要主动机器人机构和完美的物体地面实况，标准化测试是有限的。为了帮助提供一个标准的测试场景理解系统，我们提出了一个新的机器人视觉场景理解的挑战，使用模拟，使可重复的实验与主动机器人机构。我们提供了两个具有挑战性的任务类型，三个难度级别，五个模拟环境和一个新的评估措施，评估三维立方体对象地图。我们的目标是通过评估和比较主动机器人视觉系统来推动场景理解的最新研究。
2020-09-11 cs.RO
ROI-based Robotic Grasp Detection for Object Overlapping Scenes
Xi’an Jiaotong University（西安交通大学）
在物体重叠场景中，考虑抓取物与主人之间的关联关系的抓取检测对于机器人抓取方法的实际应用是一项必要且具有挑战性的任务。本文提出了一种基于感兴趣区域（ROI）的机器人抓取检测算法ROI-GD。ROI-GD使用来自ROI的特征来检测抓握而不是整个场景。它有两个阶段：第一阶段是在输入图像中提供ROI，第二阶段是基于ROI特征的抓取检测器。我们还贡献了一个多对象抓取数据集，这是远远大于康奈尔抓取数据集，通过标记视觉操纵关系数据集。实验结果表明，ROI-GD表现出更好的对象重叠的场景，在同一时间，仍然与国家的最先进的抓持检测算法在康奈尔大学Grasp数据集和JEFFECT数据集。机器人实验表明，ROI-GD可以帮助机器人在单目标和多目标场景中抓取目标，总体成功率分别为92.5%和83.8%。
2019-03-14 cs.RO
A Nested U-Structure for Instrument Segmentation in Robotic Surgery
University of Science and Technology of China（中国科学技术大学）
针对机器人手术中复杂环境下的器械像素级分割问题，提出带跳跃连接的两级嵌套U型编码器—解码器模型，并在三类分割任务上验证其性能。
2023-07-17 cs.RO
Event-Grounding Graph: Unified Spatio-Temporal Scene Graph from Robotic Observations
School of Electrical Engineering, Aalto University（艾尔沃斯大学电气工程学院）
本文提出事件接地图（EGG）框架，通过统一时空场景图实现机器人对复杂时空查询的感知与响应。
2026-02-16 cs.RO
Scene Context Based Semantic Segmentation for 3D LiDAR Data in Dynamic Scene
Peking University（北京大学）
我们提出了一种基于图神经网络（GNN）的方法，将场景上下文的语义分割的三维激光雷达数据。该问题被定义为建立一个图来表示其邻域的中心段的拓扑结构，然后推断段标签。图的节点由深度图像上的线段生成，既适用于稀疏点云，也适用于密集点云。边权值由神经网络自动编码，用于评价中心节点与其邻域的相关性，因此邻域节点的数目不再是一个敏感参数。设计了一个由线段生成、图构建、边权值估计、节点更新和节点预测组成的系统。在动态场景数据集上的定量评估表明，我们的方法比一元CNN有8%的改进，以及正常的GNN有17%的改进，具有更好的性能。
2020-03-31 cs.RO
NeRFifyMesh: Optimizing Neural Radiance Fields from Textured Meshes for Robotics Scene Building
University of Toronto（多伦多大学）；Toronto Metropolitan University（多伦多都会大学）；University College London（伦敦大学学院）
本文提出NeRFifyMesh流程，通过采样网格几何和纹理生成真实辐射场，将网格模型转换为NeRF，无需相机采样，渲染质量与基线相当，并应用于统一场景构建和碰撞仿真。
2026-10-08 cs.RO
SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations
Netaji Subhas University of Technology（纳塔贾·萨哈大学）
SG-CoT通过构建场景图并利用LLM迭代查询以检测和澄清模糊性，提升机器人规划在模糊环境中的可靠性，实验表明其在单机和多机环境中均优于现有方法。
2026-07-30 cs.RO
Streaming Scene Maps for Co-Robotic Exploration in Bandwidth Limited Environments
Applied Ocean Physics and Engineering Department at the Woods Hole Oceanographic Institution (WHOI)（伍兹霍尔海洋研究所（WHOI）应用海洋物理与工程系）；MIT Media Lab（麻省理工学院媒体实验室）；MIT-WHOI Joint Program in Applied Ocean Science and Engineering（麻省理工学院-伍兹霍尔海洋研究所应用海洋科学与工程联合项目）；Mechanical Engineering Department at Northeastern University（东北大学机械工程系）
本文提出了一种带宽可调的实时概率场景建模和映射技术，使合作机器人探索通信受限的环境，如深海。系统的参数使用户能够表征由地图表示的场景复杂性，这反过来又决定了带宽要求。该方法演示使用水下机器人，学习环境的无监督场景模型，然后使用此场景模型来传达各种高层次的语义场景构造的空间分布的人类操作员。在人工建造的坦克环境中的初步实验，以及模拟任务超过10米$\times$ 10米珊瑚礁使用真实的数据显示的可调性的地图，不同的带宽限制和科学兴趣。据我们所知，这是第一篇量化无监督场景模型的自由参数如何影响科学效用和通信所需的带宽的论文。
2019-03-07 cs.RO
GRID: Scene-Graph-based Instruction-driven Robotic Task Planning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shenzhen Pudu Technology Inc.（深圳普渡科技有限公司）
针对现有依赖图像的LLM机器人任务规划方法观测受限、数据与模型需求大的问题，提出基于场景图的GRID方法，通过LLM与图注意力网络编码信息规划子任务，准确率与泛化性更优且推理速度快。
2024-03-11 cs.RO
SpotLight: Robotic Scene Understanding through Interaction and Affordance Detection
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）；Uni Bonn（波恩大学）
针对家庭机器人功能性元素交互难题，提出SpotLight框架，利用VLM预测可供性实现开关操作，真实实验成功率84%，并引入数据集和检测模型，可扩展至其他交互。
2024-09-18 cs.RO
Depth-aware Object Segmentation and Grasp Detection for Robotic Picking Tasks
Graz University of Technology（格拉茨技术大学）；University of Klagenfurt（克拉根福大学）
在本文中，我们提出了一种新的深度神经网络架构的联合类不可知的对象分割和把握检测机器人采摘任务使用平行板夹持器。我们介绍了深度感知坐标卷积（CoordConv），一种在不增加任何额外的网络参数或计算复杂性的情况下，提高复杂场景中基于点建议的对象实例分割的准确性的方法。深度感知CoordConv使用深度数据来提取关于对象位置的先验信息，以实现高度准确的对象实例分割。这些产生的分割掩模，结合预测把握候选人，导致一个完整的场景描述使用平行板夹持器抓。我们评估把握检测和实例分割的准确性具有挑战性的机器人采摘数据集，即Siléane和OCID_grasp，并显示联合把握检测和分割的好处在现实世界的机器人采摘任务。
2021-11-22 cs.CV cs.RO
APEX: Unsupervised, Object-Centric Scene Segmentation and Tracking for Robot Manipulation
University of Oxford（牛津大学）
目标检测、分割和跟踪的无监督学习的最新进展为机器人技术的应用带来了巨大的希望。一种常见的方法是将这些任务框架为概率潜变量模型中的推理。然而，在本文中，我们表明，目前最先进的斗争与视觉上复杂的场景，如通常遇到的机器人操作任务。我们提出了APEX，一个新的潜在变量模型，它能够分割和跟踪对象在更逼真的场景中，具有不同的大小和纹理的对象，包括机器人手臂本身。这是通过一个原则性的掩模归一化算法和高分辨率场景编码器来实现的。为了评估我们的方法，我们在真实世界的Sketchy数据集上展示了结果。然而，该数据集不包含用于定量评估的地面真实掩模和对象ID。因此，我们介绍了熊猫推数据集（P2D），它显示了一个熊猫手臂与模拟中的桌子上的对象进行交互，其中包括地面真实分割掩码和用于跟踪的对象ID。在这两种情况下，APEX在无监督对象分割和跟踪方面都全面优于当前最先进的技术。我们证明了我们的分割机器人技能执行的对象安排任务，在那里我们也实现了最好的或可比的性能之间的所有基线的功效。
2021-09-12 cs.RO
An Information-Space Perspective to Scene Graph Sufficiency for Robotic Task Planning
Maastricht University（马斯特里赫特大学）；Aalto University（阿尔托大学）
本文提出信息空间框架下的场景图充分性形式化，通过信息映射和商转换系统定义充分条件，确保派生计划在最大系统上可行。
2026-09-15 cs.RO
Joint Learning of Instance and Semantic Segmentation for Robotic Pick-and-Place with Heavy Occlusions in Clutter
University of Tokyo（东京大学）；JSK Laboratory（JSK实验室）
我们提出了联合学习的实例和语义分割的可见和遮挡区域掩模。将特征提取器与实例遮挡分割器共用，将语义遮挡分割引入到实例分割模型中。这种联合学习融合了不同分割任务上的掩模预测的实例级和图像级推理，这在以前仅学习实例分割的工作中是缺失的。在实验中，我们在测试数据集上评估了所提出的联合学习与仅实例学习的比较。我们还将联合学习模型应用于2种不同类型的机器人拾取和放置任务（随机和目标拾取），并评估其实现真实世界机器人任务的有效性。
2020-01-21 cs.CV cs.RO
Where to Fetch: Extracting Visual Scene Representation from Large Pre-Trained Models for Robotic Goal Navigation
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Campus Security Smart Brain Shandong Engineering Research Center（山东校园安全智能脑工程研究中心）
提出利用大规模视觉语言模型构建视觉场景表征，结合大型语言模型解析指令，使机器人能执行复杂目标导航与取物任务。
2024-08-20 cs.RO
TACS-Graphs: Traversability-Aware Consistent Scene Graphs for Ground Robot Localization and Mapping
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；KI-R（智能机器人研究室）；URobotics Corp.（URobotics公司）
提出TACS-Graphs框架，利用地面机器人可通行性改进场景图房间分割，解决欠分割和过分割问题，提升回环检测效率与位姿估计精度。
2025-10-16 cs.RO
Automated Weld Seam Recognition and 3D Mapping for Robotic Post Processing Using Photogrammetry and Semantic Segmentation
TH Köln - University of Applied Sciences（科隆应用技术大学）
该研究提出一种结合摄影测量与语义分割的视觉管道，用于机器人后处理中焊缝的近似定位，以减少大型工件扫描工作量与无关数据，为后续高精度测量做准备。
2026-09-04 cs.RO
Human-in-the-loop Robotic Grasping using BERT Scene Representation
Fudan University（复旦大学）；Westlake University（西湖大学）；Australian National University（澳大利亚国立大学）；Westlake Institute for Advanced Study（西湖高等研究院）
当前的自然语言处理技术已经在不同的领域得到了广泛的应用。在本文中，我们提出了一个人在环框架的机器人在混乱的场景中抓取，研究语言接口的把握过程中，它允许用户干预的自然语言命令。这个框架是建立在一个国家的最先进的粗锉基线，在那里，我们取代了场景图表示与文本表示的场景使用BERT。仿真和物理机器人实验表明，该方法优于传统的对象不可知和场景图为基础的方法在文献中。此外，我们发现，通过人为干预，性能可以显着提高。
2022-09-28 cs.HC cs.RO
What Is The Best 3D Scene Representation for Robotics? From Geometric to Foundation Models
本文探讨了机器人中最佳的3D场景表示方法，对比了传统和神经表示的优劣，并展望了基础模型在机器人应用中的潜力。
2026-01-10 cs.CV cs.RO
VLMs Can Describe, But Not Measure: Object-Centric Scene Understanding for Robotic Manipulation
University of Trento（特伦托大学）；Mondragón University（蒙德拉贡大学）
本文提出一种VLM驱动的模块化感知框架，通过对象级分割、语义标注与深度结合，在151个桌面场景上显著提升定位与深度估计，并集成于机器人任务规划。
2026-09-24 cs.CV cs.RO
SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs
Technical University of Munich（慕尼黑工业大学）；Google（谷歌公司）
本文提出SG-Bot框架，通过场景图表示与由粗到细的想象过程，结合常识与用户指令生成细粒度目标场景并制定动作策略，在物体重排列任务上大幅优于现有方法。
2024-03-24 cs.CV cs.RO
SceneCut: Joint Geometric and Object Segmentation for Indoor Scenes
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
本文介绍了SceneCut，这是一种使用单个RGB-D图像联合发现先前未见过的对象和非对象表面的新方法。SceneCut对场景语义和几何形状的联合推理允许机器人在复杂场景中检测和分割对象实例，其中基于现代深度学习的方法无法分离对象实例，或者无法检测在训练期间未看到的对象。SceneCut自动将场景分解为表示对象或场景表面的有意义的区域。该分解是由统一的能量函数的对象和几何拟合。我们展示了如何利用分层分割树来有效地优化这个能量函数。此外，我们利用预先训练的面向卷积的边界网络来预测图像的准确边界，用于构建高质量的区域层次结构。我们在几种不同的室内环境中对SceneCut进行了评估，结果表明SceneCut的性能明显优于现有的所有方法。
2018-05-24 cs.CV cs.RO
ViTA-Seg: Vision Transformer for Amodal Segmentation in Robotics
Department of Electrical；Learning (RPL), KTH Royal Institute of Technology, 114 28, Stockholm, Sweden, (e-mail: )
ViTA-Seg是一种用于机器人抓取的视觉Transformer框架，通过双头架构实现高效的无遮挡分割，提升机器人操作的实时性和鲁棒性。
2025-12-10 cs.CV cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)（电气与计算机工程系，国王 Abdullah 科学与技术大学）
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架，通过动态维护场景图提供空间感知，结合多模态感知与通用推理模型实现稳健任务排序，在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Fusing RGBD Tracking and Segmentation Tree Sampling for Multi-Hypothesis Volumetric Segmentation
University of Michigan（密歇根大学）
尽管近年来场景分割技术取得了快速的进展，但在严重遮挡情况下，三维场景分割方法仍然受到限制。关键的挑战是估计（部分）被遮挡对象的分割边界，当只考虑单个帧时，这些边界本身是模糊的。在这项工作中，我们提出了多假设分割跟踪（MST），体积分割在不断变化的场景，它允许场景的模糊性进行跟踪和我们的估计，随着时间的推移，我们与场景的互动进行调整的一种新方法。两个主要的创新使我们能够解决这个难题：1）一种从分割树中采样可能分割的新方法; 2）一种将跟踪结果与多个分割估计融合的新方法。这些方法允许MST随时间跟踪分割状态并包含新信息，例如正在显示的新对象。我们评估我们的方法在模拟和现实中的几个杂乱的桌面环境。我们的研究结果表明，MST优于基线在所有测试场景。
2021-04-01 cs.CV cs.RO
AffordanceGrasp-R1:Leveraging Reasoning-Based Affordance Segmentation with Reinforcement Learning for Robotic Grasping
AffordanceGrasp-R1 通过结合推理和强化学习，提升机器人抓取任务中的推理能力和空间定位，实验表明其在基准和现实场景中均表现优异。
2026-02-03 cs.CV cs.RO
OG-SGG: Ontology-Guided Scene Graph Generation. A Case Study in Transfer Learning for Telepresence Robotics
Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）；Universidad de Sevilla（塞维利亚大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所（DaSCI））；University of Granada（格拉纳达大学）
从图像生成场景图是机器人等应用非常感兴趣的任务，因为图是表示关于世界的知识和调节视觉问答（VQA）等任务中的人机交互的主要方式。不幸的是，其相应的机器学习领域仍处于起步阶段，目前提供的解决方案并不适合具体的使用场景。具体地说，它们没有考虑到关于领域世界的现有“专家”知识;而这可能确实是必要的，以便提供用例场景所要求的可靠性级别。在本文中，我们提出了一个初始近似的框架称为本体指导的场景图生成（OG-SGG），可以提高现有的机器学习的场景图生成器使用先验知识提供的形式的本体（特别是，使用内定义的公理）的性能;我们提出了一个特定的情况下，在临场感机器人评估的结果。这些结果表明，在生成的场景图的定量和定性的改进。
2022-12-20 cs.CV cs.RO
Enhancing Robotic Adaptability: Integrating Unsupervised Trajectory Segmentation and Conditional ProMPs for Dynamic Learning Environments
本文提出融合无监督轨迹分割与条件ProMPs的框架，利用自编码器和RNN自动识别无标签运动数据关键点，提升机器人在动态环境中的适应性和学习效率，并降低计算开销。
2024-04-30 cs.RO cs.SY eess.SY
Garbage Segmentation and Attribute Analysis by Robotic Dogs
ZhejiangLab（浙江实验室）
提出GSA2Seg方法，利用四足机器狗结合垃圾分割与属性分析技术，准确识别垃圾位置与放置状态以增强机械臂抓取能力，并贡献GSA2D数据集验证其有效性。
2024-04-28 cs.CV cs.RO
End-to-end Trainable Deep Neural Network for Robotic Grasp Detection and Semantic Segmentation from RGB
Graz University of Technology（格拉茨理工大学）
在这项工作中，我们引入了一种新的，端到端的可训练的基于CNN的架构，提供高质量的结果，把握检测适合平行板夹持器，和语义分割。利用这一点，我们提出了一种新的细化模块，利用先前计算的把握检测和语义分割，并进一步提高把握检测精度。我们提出的网络在两个流行的抓取数据集上提供了最先进的准确性，即Cornell和Jardine。作为额外的贡献，我们为OCID数据集提供了一个新的数据集扩展，使得在极具挑战性的场景中评估抓取检测成为可能。使用这个数据集，我们表明，语义分割可以另外用于分配把握候选对象类，它可以用来挑选场景中的特定对象。
2022-02-11 cs.CV cs.RO
Self-Supervised Drivable Area and Road Anomaly Segmentation using RGB-D Data for Robotic Wheelchairs
The Hong Kong University of Science and Technology（香港科技大学）
可行驶区域和道路异常的分割是实现机器人轮椅自主导航的关键能力。使用深度学习技术的语义分割的最新进展已经呈现出有效的结果。然而，使用手工标记的地面事实获取大规模数据集是耗时且劳动密集型的，使得基于深度学习的方法通常难以在实践中实现。我们提出了一种自监督学习的方法来解决这个问题的任务的可行驶区域和道路异常分割。我们开发了一个管道，可以自动生成可驾驶区域和道路异常的分割标签。然后，我们训练基于RGB-D数据的语义分割神经网络，并得到预测标签。实验结果表明，我们提出的自动标记流水线实现了令人印象深刻的速度比手动标记。此外，我们提出的自监督方法表现出更强大和更准确的结果比国家的最先进的传统算法，以及国家的最先进的自监督算法。
2020-07-12 cs.CV cs.RO
You Only Scan Once: A Dynamic Scene Reconstruction Pipeline for 6-DoF Robotic Grasping of Novel Objects
Advanced Robotics Centre, National University of Singapore（新加坡国立大学先进机器人中心）；Integrative Sciences and Engineering Programme, National University of Singapore Graduate School（新加坡国立大学研究生院整合科学与工程项目）
针对遮挡和动态环境导致抓取规划受限的问题，本文提出两阶段动态场景重建流水线，通过网格重建、新物体位姿跟踪与实时点云变换，显著提升6-DoF抓取算法精度。
2024-04-04 cs.CV cs.RO
Hi-Dyna Graph: Hierarchical Dynamic Scene Graph for Robotic Autonomy in Human-Centric Environments
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发式智能科学研究院）
本文提出 Hi-Dyna Graph 层次化动态场景图架构，融合全局拓扑与局部动态语义，并结合大语言模型智能体实现以人为中心动态环境中的机器人自主任务执行。
2025-05-30 cs.AI cs.RO
Preference-Driven Active 3D Scene Representation for Robotic Inspection in Nuclear Decommissioning
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）；University of Manchester（曼彻斯特大学）；James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院）
针对核退役巡检中视点选择忽略操作员目标的问题，提出一种基于RLHF的偏好驱动主动3D场景表示框架，通过专家输入重塑奖励函数优化路径规划，在提升场景表示的同时优化轨迹效率。
2025-04-02 cs.CV cs.RO
Self-supervised Transparent Liquid Segmentation for Robotic Pouring
Carnegie Mellon University（卡内基梅隆大学）；University of Notre Dame（圣母大学）
液体状态估计对于机器人任务（例如倾倒）是重要的;然而，估计透明液体的状态是具有挑战性的问题。我们提出了一种新的分割管道，可以从静态RGB图像中分割透明液体，如水，而不需要任何手动注释或加热液体进行训练。相反，我们使用一种生成模型，该模型能够将有色液体的图像转换为合成生成的透明液体图像，仅在有色和透明液体图像的未配对数据集上进行训练。彩色液体的分割标签自动获得使用背景减法。我们的实验表明，我们能够准确地预测透明液体的分割掩模，而不需要任何手动注释。我们展示了透明液体分割的实用程序，在机器人倾倒任务，控制倾倒通过感知透明杯中的液体高度。可以找到附带的视频和补充材料
2022-03-03 cs.CV cs.LG cs.RO
M2R2: MultiModal Robotic Representation for Temporal Action Segmentation
Autonomous Systems Lab, Technische Universität Wien (TU Wien)（自主系统实验室，维也纳技术大学）；Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（机器人与机电研究所，德国航空航天中心）
本文提出M2R2多模态特征提取器，结合本体感知和体外感知信息，解决时序动作分割中多模态特征复用难题，并在三个机器人数据集上取得新突破。
2026-04-29 cs.AI cs.RO
T-FunS3D: Task-Driven Hierarchical Open-Vocabulary 3D Functionality Segmentation
P4MARS Lab at the Faculty of Aerospace Engineering, Delft University of Technology（代尔夫特理工大学航空航天工程学院P4MARS实验室）
提出T-FunS3D方法，通过构建开放词汇场景图并利用视觉语言模型，实现任务驱动的分层3D功能分割，在保持性能的同时提升速度和降低内存消耗。
2026-06-04 cs.CV cs.RO
Reinforcement Learning for Semantic Segmentation in Indoor Scenes
George Mason University（乔治梅森大学）
未来机器人自主性和机器人任务复杂性的进步取决于对环境的鲁棒、高效和任务相关的语义理解。语义分割是同时分割和分类的感觉数据的分区的问题。目前的大多数方法都是在条件随机场（CRF）框架中使用多类分割和标记，或者通过生成多个对象假设并按顺序组合它们来解决这个问题。在实际设置中，所需的语义标签的子集取决于任务和特定场景，并且标记每个像素并不总是必要的。我们追求这些意见在开发一个更模块化和灵活的方法来多类分析RGBD数据的学习策略的基础上，结合独立的二进制对象与背景分割，而不是通常的单片多标签CRF的方法。独立二进制分割模型的参数可以非常有效地学习，并且组合策略--使用强化学习学习--可以独立设置，并且可以在不同的任务和环境中变化。准确性与NYU-V2室内场景数据集子集上的最先进方法相当，同时提供额外的灵活性和模块化。
2016-06-03 cs.CV cs.RO
Self-Supervised Object-in-Gripper Segmentation from Robotic Motions
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
准确的物体分割是机器人操作中的一项重要任务。然而，为神经网络创建足够的注释训练数据特别耗时，并且通常需要手动标记。为此，我们提出了一种简单而强大的解决方案，用于学习分割机器人抓取的未知物体。具体来说，我们利用RGB视频序列中的运动和时间线索。使用光流估计，我们首先学习预测给定操纵器的分割掩模。然后，这些注释与运动线索相结合，以自动区分背景，操纵器和未知的，掌握的对象。与现有系统相比，我们的方法是完全自我监督的，独立于精确的相机校准，3D模型或潜在的不完美的深度数据。我们与文献中的替代基线和方法进行了彻底的比较。对象掩模和视图被示出为用于分割网络的合适的训练数据，所述分割网络推广到新的环境并且还允许水密的3D重建。
2020-11-06 cs.CV cs.RO
Commonsense Scene Semantics for Cognitive Robotics: Towards Grounding Embodied Visuo-Locomotive Interactions
University of Bremen（不来梅大学）；Örebro University（厄勒布鲁大学）
我们提出了一个常识性的，定性的模型体现视觉空间和机车互动的语义基础。其主要贡献是将低级视觉处理与植根于人工智能的以人为本的空间和运动表示相结合的综合方法。我们展示了实际的适用性，涉及对象的相互作用和室内运动的例子。
2017-09-15 cs.AI cs.CV cs.RO
AgriGen: Large-Scale Scene Generation Framework for Photorealistic Agricultural Robotics Simulation
Georgia Tech-CNRS IRL2958（佐治亚理工学院-CNRS IRL2958）；Notre Dame University（圣母大学）
提出AgriGen框架，基于Isaac Sim和ROS，程序化生成大规模逼真农业环境，支持行栽作物、果园和葡萄园，以解决农业机器人数据获取难、评估受限的问题。
2026-09-23 cs.GR cs.RO
Synthetic and Real Inputs for Tool Segmentation in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London（伦敦大学学院威康/EPSRC介入与外科科学中心）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
手术视频中的语义工具分割对于手术场景理解和计算机辅助干预以及机器人自动化的发展都是重要的。这个问题是具有挑战性的，因为不同的照明条件，出血，烟雾和闭塞可以降低算法的鲁棒性。目前，用于训练深度学习模型的标记数据仍然缺乏语义手术器械分割，在本文中，我们表明可以使用机器人运动学数据与腹腔镜图像相结合来缓解标记问题。我们提出了一种新的基于深度学习的模型，用于腹腔镜和模拟图像的并行处理，以实现手术工具的鲁棒分割。由于缺乏用分割基础事实和运动学信息注释的腹腔镜帧，使用达芬奇研究工具包（dVRK）生成了一个新的自定义数据集，并提供给用户。
2020-07-26 cs.CV cs.LG cs.RO
NeSF: Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes
Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了NeSF，一种从单独的RGB图像产生3D语义场的方法。代替经典的3D表示，我们的方法建立在隐式神经场景表示，其中3D结构是由逐点函数捕获的最近的工作。我们利用这种方法来恢复3D密度场，然后我们训练一个3D语义分割模型的监督构成的2D语义地图。尽管仅在2D信号上进行训练，但我们的方法能够从新颖的相机姿势生成3D一致的语义地图，并且可以在任意3D点处查询。值得注意的是，NeSF与任何产生密度场的方法兼容，并且其精度随着密度场质量的提高而提高。我们的实证分析表明，在复杂的、逼真渲染的合成场景上，具有竞争力的2D和3D语义分割基线的质量相当。我们的方法是第一个提供真正密集的3D场景分割，只需要2D监督的训练，不需要任何语义输入的推理新的场景。我们鼓励读者访问该项目的网站。
2021-12-03 cs.CV cs.RO
Developing efficient transfer learning strategies for robust scene recognition in mobile robotics using pre-trained convolutional neural networks
University of Bayreuth（拜罗伊特大学）
我们提出了四种不同的鲁棒迁移学习和数据增强策略，用于鲁棒的移动场景识别。通过在广泛可用的Event 8，Scene 15，Stanford 40和MIT 67数据集上训练三个移动就绪（EfficientNetB 0，MobileNetV 2，MobileNetV 3）和两个大规模基线（VGG 16，ResNet 50）卷积神经网络架构，我们展示了我们的迁移学习策略的泛化能力。此外，我们测试了我们的迁移学习策略的鲁棒性下的观点和照明变化使用KTH-Idol 2数据库。此外，在不同的迁移学习策略下，推理优化技术的一般性能和鲁棒性的影响进行了评估。实验结果表明，当采用迁移学习时，微调结合广泛的数据增强提高了移动场景识别的整体准确性和鲁棒性。我们使用各种基线卷积神经网络实现了最先进的结果，并在具有挑战性的移动机器人位置识别中显示了对照明和视点变化的鲁棒性。
2021-07-23 cs.CV cs.RO
Unseen Object Instance Segmentation for Robotic Environments
University of Washington（华盛顿大学）；NVIDIA（英伟达）
为了在非结构化环境中发挥作用，机器人需要能够识别看不见的物体。我们在这个方向上迈出了一步，解决了在桌面环境中分割看不见的对象实例的问题。然而，该任务所需的大规模真实世界数据集的类型通常不存在于大多数机器人设置中，这促使使用合成数据。我们提出的方法，UOIS-Net，分别利用合成RGB和合成深度的不可见的对象实例分割。UOIS-Net由两个阶段组成：首先，它只对深度进行操作，以产生2D或3D的对象实例中心投票，并将它们组装成粗略的初始掩码。其次，使用RGB细化这些初始掩码。令人惊讶的是，我们的框架能够从RGB非照片级真实感的合成RGB-D数据中学习。为了训练我们的方法，我们引入了一个大规模的桌面上的随机对象的合成数据集。我们表明，我们的方法可以产生尖锐和准确的分割掩模，优于国家的最先进的方法看不见的对象实例分割。我们还表明，我们的方法可以分割机器人抓取看不见的物体。
2021-10-14 cs.CV cs.RO
Expanding Spatial and Temporal Context for Robotic Imitation Learning With Scene Graphs
University of Pennsylvania（宾夕法尼亚大学）；RAI Institute（RAI研究院）；University of Michigan（密歇根大学）
提出使用场景图作为显式结构化记忆机制，通过动态维护对象中心关系及其时间演化，解决机器人模仿学习中的部分可观测性和长时推理问题。
2026-06-05 cs.CV cs.RO
Real-Time Instrument Segmentation in Robotic Surgery using Auxiliary Supervised Deep Adversarial Learning
NUS Graduate School for Integrative Sciences and Engineering (NGS)（新加坡国立大学综合科学与工程研究生院（NGS））；National University of Singapore（新加坡国立大学）；University of Moratuwa（莫拉图瓦大学）；NIT Trichy（印度国立理工学院蒂鲁吉拉伯利分校）
机器人辅助手术是一项新兴技术，随着机器人技术和成像系统的发展而迅速发展。视觉、触觉和机器人手臂精确运动方面的创新使外科医生能够进行精确的微创手术。对机器人手术器械和组织进行实时的【形】语义分割是机器人辅助手术的关键步骤。手术场景的准确和有效分割不仅有助于识别和跟踪器械，而且还提供了关于正在操作的不同组织和器械的上下文信息。为此，我们开发了一个轻量级的级联卷积神经网络（CNN），从商业机器人系统获得的高分辨率视频分割手术器械。我们提出了一个多分辨率特征融合模块（MFF），融合不同维度和通道的辅助和主分支的特征图。我们还引入了一种新的方法，结合辅助损失和对抗损失来正则化分割模型。辅助损失有助于模型学习低分辨率特征，而对抗损失通过学习高阶结构信息来改善分割预测。该模型还包括一个轻量级的空间金字塔池（SPP）单元，在中间阶段聚合丰富的上下文信息。我们表明，我们的模型优于现有的算法，以像素为单位的分割手术器械的预测精度和分割时间的高分辨率视频。
2020-09-30 cs.CV cs.RO eess.IV
DMFC-GraspNet: Differentiable Multi-Fingered Robotic Grasp Generation in Cluttered Scenes
KIT（卡尔斯鲁厄理工学院）；Bosch Center of AI（博世人工智能中心）
针对多指抓取每次推理仅生成单峰抓取的问题，本文提出 DMFC-GraspNet，通过新型抓取表示、密集标注流程和多种可微分损失实现端到端的密集多功能抓取生成。
2023-08-16 cs.AI cs.RO
