Object Rearrangement Using Learned Implicit Collision Functions
NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
机器人物体重排结合了拾取和放置物体的技能。当对象模型不可用时,典型的碰撞检查模型可能无法预测具有遮挡的部分点云中的碰撞,使得无碰撞抓取或放置轨迹的生成具有挑战性。我们提出了一个学习碰撞模型,接受场景和查询对象点云,并预测场景内的6DOF对象姿势的碰撞。我们在100万个场景/对象点云对和20亿个碰撞查询的合成集上训练模型。我们利用学习的碰撞模型作为模型预测路径积分(MPPI)政策的一部分,在桌面重排任务,并表明该政策可以计划无碰撞的把握和放置对象看不见的训练在模拟和物理杂乱的场景与弗兰卡熊猫机器人。在模拟碰撞查询数据集上,学习模型的准确性优于传统管道和学习消融9.8%,并且比性能最佳的基线快75倍。视频和补充材料可在https://research.nvidia.com/publication/2021-03_Object-Rearrangement-Using上获得。
2021-03-26 cs.CV cs.RO
DegustaBot: Zero-Shot Visual Preference Estimation for Personalized Multi-Object Rearrangement
Carnegie Mellon University(卡内基梅隆大学);Hello Robot(Hello Robot公司)
针对家务多物体重排需匹配个人视觉偏好的问题,提出DegustaBot算法,结合预训练VLMs与零样本视觉提示技术实现个性化重排,通过模拟数据集和用户研究验证,50%的预测至少被20%的人接受。
2024-07-11 cs.CV cs.RO
IFOR: Iterative Flow Minimization for Robotic Object Rearrangement
NVIDIA(英伟达);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
在非结构化环境中,从视觉中准确地重排物体是各种真实世界机器人应用的关键问题。我们提出了IFOR,迭代流最小化机器人对象重排,一个端到端的方法,具有挑战性的问题,对象重排的未知对象给定的原始和最终场景的RGBD图像。首先,我们学习一个基于RAFT的光流模型,纯粹从合成数据估计对象的相对变换。然后,在迭代最小化算法中使用该流,以实现先前未看到的对象的准确定位。至关重要的是,我们证明了我们的方法适用于杂乱的场景,并且在现实世界中,而只在合成数据上进行训练。有关视频,请访问https://imankgoyal.github.io/ifor.html。
2022-02-01 cs.CV cs.RO
SplatR : Experience Goal Visual Rearrangement with 3D Gaussian Splatting and Dense Feature Matching
IIT ISM Dhanbad(印度理工学院达纳德布尔分校);University of Bremen(不来梅大学);IIIT Allahabad(阿拉哈巴德印度信息技术学院)
针对经验目标视觉重排任务,提出利用3D高斯泼溅构建场景表征,并结合基础模型稠密特征匹配进行状态比较,在AI2-THOR基准上超越现有最先进方法。
2024-12-17 cs.CV cs.RO
ConSOR: A Context-Aware Semantic Object Rearrangement Framework for Partially Arranged Scenes
Georgia Institute of Technology(佐治亚理工学院)
本研究针对部分已布置场景下的物体重排问题,提出无需用户明确指定目标的ConSOR框架,利用场景上下文线索完成新物体布置,在泛化性上显著优于两个基线。
2023-09-30 cs.RO
Embodied Scene Rearrangement Planning
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文提出具身场景重排规划(ESRP)新任务,构建含5400+场景对的ESRP-Bench基准,评估四类方法发现现有方法难高效完成,为智能体现实部署奠定基础。
2026-08-28 cs.RO
Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement
Massachusetts Institute of Technology(麻省理工学院);NVIDIA(英伟达);Improbable AI Lab(Improbable AI实验室)
本文提出基于关系位姿扩散的多模态物体重排系统,通过迭代位姿去噪和局部几何条件化,在仿真与真实环境中实现对新物体形状、位姿及场景布局的精确泛化。
2023-07-10 cs.CV cs.LG cs.RO
Personalized Robotic Object Rearrangement from Scene Context
Georgia Institute of Technology(佐治亚理工学院)
提出了PARSEC基准和基于LLM的ContextSortLM模型,通过利用多场景上下文学习用户偏好,解决了部分布置环境中物体多有效放置位置的个性化重排问题。
2025-06-26 cs.AI cs.RO
Efficient Object Rearrangement via Multi-view Fusion
Southern University of Science and Technology(南方科技大学)
本文提出基于多视角融合的物体重排系统,通过在操作前从多个视角观察场景并结合物体级视觉定位流程,在不增加冗余操作的情况下更准确地估计物体放置位姿,仿真和物理实验均验证了其相比单视角系统具有更高效率。
2023-09-16 cs.RO
Visual Room Rearrangement
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
最近在嵌入式人工智能领域取得了重大进展,研究人员开发了模型和算法,使嵌入式代理能够在完全看不见的环境中导航和交互。在本文中,我们提出了一个新的数据集和基线模型的任务重排。我们特别关注房间重新布置的任务:一个代理开始探索一个房间,并记录对象的初始配置。然后,我们删除代理并更改姿势和状态(例如,打开/关闭)房间中的一些对象。代理必须恢复房间中所有对象的初始配置。我们的数据集名为RoomR,包括6,000个不同的重排设置,涉及120个场景中的72种不同对象类型。我们的实验表明,解决这一具有挑战性的交互式任务,涉及导航和对象交互是超出了当前国家的最先进的技术体现的任务的能力,我们仍然远远没有达到完美的性能在这些类型的任务。代码和数据集可在www.example.com上获得
2021-03-30 cs.CV cs.RO
Inferring Occluded Geometry Improves Performance when Retrieving an Object from Dense Clutter
University of Michigan(密歇根大学)
对象搜索-在杂乱场景中找到目标对象的问题-对于解决仓库和家庭环境中的许多机器人应用至关重要。然而,杂乱的环境需要对象经常彼此遮挡,使得难以分割对象并推断其形状和属性。而不是依赖于CAD或其他显式模型的场景对象的可用性,我们增加了一个操纵规划器的杂乱的环境与国家的最先进的深神经网络的形状完成以及体积记忆系统,允许机器人的原因可能包含在闭塞的地区。我们测试的系统在各种桌面操作场景组成的家庭用品,突出其适用性现实领域。我们的研究结果表明,将这两个组件到一个操纵规划框架显着减少了在密集的混乱中找到一个隐藏的对象所需的行动的数量。
2019-09-04 cs.CV cs.RO
RoboTidy : A 3D Gaussian Splatting Household Tidying Benchmark for Embodied Navigation and Action
Huazhong University of Science and Technology(华中科技大学);The University of Hong Kong(香港大学);INFIFORCE Intelligent Technology Co., Ltd.(INFIFORCE智能技术有限公司);Zhejiang University(浙江大学);Guangming Lab, Shenzhen(深圳光明实验室)
针对现有家庭整理基准的不足,提出RoboTidy统一基准,提供500个3DGS家庭场景、6.4k操作轨迹和1.5k导航轨迹,支持VLA/VLN训练评估,还可部署于现实场景,填补具身AI的关键空白。
2025-11-19 cs.CV cs.RO
Energy-based Models are Zero-Shot Planners for Compositional Scene Rearrangement
Carnegie Mellon University(卡内基梅隆大学)
提出用能量函数表示语言空间约束并经梯度下降推断目标布局,使机器人能零样本泛化执行长组合式场景重排指令。
2024-01-23 cs.AI cs.CL cs.CV
Structural Concept Learning via Graph Attention for Multi-Level Rearrangement Planning
Purdue University(普渡大学)
提出 Structural Concept Learning (SCL),利用图注意力网络执行多层次物体重排规划,通过场景理解推断子结构实现多机械臂并行化,在性能、灵活性和效率上优于基线方法并泛化至真实世界。
2023-09-05 cs.AI cs.LG cs.RO
MomaGraph: State-Aware Unified Scene Graphs with Vision-Language Model for Embodied Task Planning
University of California, Berkeley(加州大学伯克利分校);University of Maryland, College Park(马里兰大学学院公园分校);University of Toronto(多伦多大学)
MomaGraph通过统一场景图与强化学习模型,实现家庭环境中体感任务规划的高效任务规划与场景理解。
2026-02-09 cs.CV cs.RO
Neural Rearrangement Planning for Object Retrieval from Confined Spaces Perceivable by Robot's In-hand RGB-D Sensor
Purdue University(普渡大学)
提出一种基于手内摄像头感知的神经物体检索框架,通过重排非目标物体保持路径同伦,高效解决受限空间物体取出问题,计算速度比基线快两个数量级。
2024-02-10 cs.RO
Abstention-Aware Personalized Object Rearrangement via Uncertainty-Guided LLM Assistance
Concordia University(康考迪亚大学)
提出APOLLO框架,结合轻量级个性化嵌入模型与选择性大语言模型辅助,通过不确定性估计在模糊决策时调用LLM,实现高效、隐私保护的弃权感知物体重排。
2026-06-17 cs.RO
Monte-Carlo Tree Search for Efficient Visually Guided Rearrangement Planning
INRIA(法国国家信息与自动化研究所)
我们解决的问题,视觉引导的重排规划与许多可移动的对象,即,找到一系列动作来将一组对象从初始排列移动到所需的排列,同时依赖于来自RGB相机的视觉输入。为此,我们引入了一个依赖于两个关键贡献的完整管道。首先,我们介绍了一种有效的和可扩展的重排规划方法,基于蒙特卡罗树搜索的探索策略。我们证明,由于其良好的权衡之间的探索和利用我们的方法(i)规模以及对象的数量,而(ii)找到解决方案,需要更少的移动相比,其他国家的最先进的方法。请注意,与许多方法相反,我们不需要任何可用的缓冲区空间。其次,为了精确定位场景中的可移动物体,我们开发了一种集成方法,用于使用仅用合成数据训练的深度神经网络从单个未校准的RGB相机进行鲁棒的多物体工作空间状态估计。我们验证了我们的多对象视觉引导的操作流水线上一个真正的UR-5机器人手臂通过解决各种重排规划实例的几个实验,只需要60毫秒来计算计划重新排列25个对象。此外,我们表明,我们的系统是不敏感的摄像机的运动,可以成功地从外部扰动恢复。补充视频、源代码和预训练模型可在https://ylabbe.github.io/rearrangement-planning上获得。
2020-04-01 cs.CV cs.RO
Multi-Agent Monte Carlo Tree Search for Makespan-Efficient Object Rearrangement in Cluttered Spaces
Department of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出CAM-MCTS框架,通过集中式任务分配与异步执行策略,提升杂乱环境中物体重新排列的makespan效率。
2026-02-02 cs.RO
MORE: Mobile Manipulation Rearrangement Through Grounded Language Reasoning
University of Freiburg(弗赖堡大学);University of Toronto(多伦多大学);Toyota Motor Europe(丰田汽车欧洲公司)
MORE通过场景图表示、实例区分和主动子图过滤,将大规模移动操作重排规划转化为有界问题,在BEHAVIOR-1K上首次显著解决零样本重排任务并优于现有基础模型方法。
2025-05-05 cs.AI cs.RO
Commonsense Scene Graph-based Target Localization for Object Search
SUSTech(南方科技大学);Shenzhen Key Laboratory of Robotics and Computer Vision(深圳市机器人与计算机视觉重点实验室)
针对家庭机器人物体搜索中单一知识导致定位性能不佳的问题,提出基于常识场景图的目标定位方法CSG-TL,结合LLM生成的物体级常识与房间级知识,并在ScanNet和AI2THOR实验及扩展的CSG-OS框架中验证了其有效性。
2024-09-27 cs.RO
Visual Foresight Trees for Object Retrieval from Clutter with Nonprehensile Rearrangement
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学))
本文考虑的问题,检索一个对象从许多紧密包装的对象,使用机器人推和把握行动的组合。密集杂波中的物体检索是机器人在家庭和日常环境中有效操作的重要技能。所提出的解决方案,视觉模糊树(VFT),智能地重新安排周围的目标对象,使它可以很容易地掌握杂波。嵌套的非线性行为的重排是具有挑战性的,因为它需要预测复杂的对象相互作用的组合大配置空间的多个对象。我们首先展示了一个深度神经网络可以被训练来准确地预测机器人推动其中一个包装物体时的姿态。预测网络提供视觉预见,并在树搜索中用作场景图像空间中的状态转换函数。树搜索返回一系列连续的推动动作,产生最佳的混乱安排,以抓住目标对象。仿真实验以及使用真实机器人和物体的实验表明,在几项具有挑战性的任务上,所提出的方法在成功率和执行动作数量方面都优于无模型技术以及基于模型的近视方法。一个介绍VFT的视频,以及机器人实验,可以在https://youtu.be/7cL-hmgvyec上访问。完整的源代码可以在https://github.com/arc-l/vft上找到。
2022-03-09 cs.RO
6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark
NVIDIA(英伟达)
我们提出了一个新的数据集6自由度姿态估计已知的对象,重点是机器人操作研究。我们提出了一套玩具杂货店的对象,其物理实例是随时可供购买,并适当大小的机器人抓取和操纵。我们提供了这些物体的3D扫描纹理模型,适用于生成合成训练数据,以及具有挑战性的,杂乱的场景中的物体的RGBD图像,这些场景表现出部分遮挡,极端光照变化,每个图像多个实例,以及各种姿势。使用半自动的RGBD到模型纹理对应,图像被注释为精确到几毫米内的地面真实姿势。我们还提出了一个新的姿态评估度量称为ADD-H匈牙利分配算法的基础上,是强大的对称性对象的几何形状,而不需要显式枚举。我们为所有玩具杂货店对象共享预训练的姿势估计器,以及它们在验证集和测试集上的基线性能。我们将此数据集提供给社区,以帮助将计算机视觉研究人员的努力与机器人专家的需求联系起来。
2022-12-15 cs.CV cs.RO
Dream2Real: Zero-Shot 3D Object Rearrangement with Vision-Language Models
Imperial College London(帝国理工学院);The Robot Learning Lab at Imperial College London(帝国理工学院机器人学习实验室);The Dyson Robotics Lab at Imperial College London(帝国理工学院戴森机器人实验室)
本文提出Dream2Real框架,通过将视觉语言模型集成到3D物体重排流水线中,利用机器人自主构建场景3D表示并渲染虚拟布局,由VLM评估选出最佳方案后执行拾取与放置,实现了无需训练数据的零样本语言条件重排。
2024-07-29 cs.CV cs.LG cs.RO
Language-guided Active Sensing of Confined, Cluttered Environments via Object Rearrangement Planning
Purdue University(普渡大学)
本文提出首个语言引导的主动感知方法,通过物体重排规划实现受限杂乱环境中特定区域的密集感知,在仿真和真实柜式环境中验证了其优越性能与泛化能力。
2024-02-04 cs.RO
HumanVLA: Towards Vision-Language Directed Object Rearrangement by Physical Humanoid
Shanghai Jiao Tong University(上海交通大学);Tencent Robotics X(腾讯Robotics X)
提出HumanVLA框架,通过师生架构结合强化学习与行为克隆,实现视觉和语言引导的物理人形机器人通用物体重新排列,并引入新数据集验证其有效性。
2024-11-13 cs.RO
My House, My Rules: Learning Tidying Preferences with Graph Neural Networks
Imperial College London(帝国理工学院)
布置家居物品的机器人应该根据用户的偏好来做,这些偏好本质上是主观的,难以建模。我们呈现NeatNet:一种新的变分自编码器架构,使用图神经网络层,它可以通过观察用户如何安排场景来提取低维潜在偏好向量。给定任何一组对象,该向量然后可以用于生成针对该用户的空间偏好定制的布置,其中词嵌入用于概括到新对象。我们开发了一个整理模拟器收集重排的例子,从75个用户,并证明经验表明,我们的方法始终产生整洁和个性化的安排在各种重排方案。
2021-11-04 cs.LG cs.RO
Planning from Point Clouds over Continuous Actions for Multi-object Rearrangement
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Princeton University(普林斯顿大学)
针对机器人长时域操作规划需离散化连续空间的问题,提出混合方法SPOT,基于点云变换搜索与学习建议器在连续动作空间规划,在多物体重排任务中优于策略学习方法。
2025-09-04 cs.RO
Rearrange Indoor Scenes for Human-Robot Co-Activity
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Peking University(北京大学)
我们提出了一个基于优化的框架,重新安排室内家具,以更好地适应人类和机器人的合作活动。重新安排的目的是为机器人活动提供足够的可访问空间,而不影响人类的日常活动。为了保留人类的活动,我们的算法保留家具之间的功能关系,通过整合空间和语义共现提取SUNC G和ConceptNet,分别。通过定义机器人的可访问空间的开放空间的量,它可以遍历和它可以达到的对象的数量,我们制定的重排为人类-机器人的合作活动作为一个优化问题,解决自适应模拟退火(ASA)和协方差矩阵自适应演化策略(CMA-ES)。我们在SUCG数据集上的实验定量地表明,重新排列的场景平均提供了14%的可访问空间和30%的可交互对象。重新排列的场景的质量是定性验证的人类研究,表明所提出的策略的有效性。
2023-03-10 cs.AI cs.RO
3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement
Massachusetts Institute of Technology(麻省理工学院)
提出首个基于3D高斯溅射的变化检测方法3DGS-CD,利用新视图渲染和零样本分割,在18秒内检测3D物体重排,准确率提升14%,速度快三个数量级。
2025-01-18 cs.CV cs.RO
Antipodal Robotic Grasping using Generative Residual Convolutional Neural Network
Rochester Institute of Technology(罗切斯特理工学院);OSARO Inc.(OSARO公司)
在本文中,我们提出了一个模块化的机器人系统来解决的问题,产生和执行对跖机器人掌握未知物体的n通道图像的场景。我们提出了一种新的生成残差卷积神经网络(GR-ConvNet)模型,该模型可以从n通道输入以实时速度(~ 20 ms)生成鲁棒的对足抓取。我们评估标准数据集和一组不同的家庭对象的模型架构。我们分别在Cornell和Jardin抓取数据集上实现了97.7%和94.6%的最新准确率。我们还证明了使用7 DoF机器人手臂分别对家用和对抗性物体的抓取成功率为95.4%和93%。
2021-06-10 cs.CV cs.RO
CubifyGS: Object-Centric 3D Gaussian Splatting for Lifelong Dynamic Scene Maintenance
School of Automation, Beijing Institute of Technology, Beijing, China(北京理工大学自动化学院,北京,中国);Guangzhou Saite Intelligent Technology Co., Ltd.(广州赛泰智能科技有限公司)
提出CubifyGS,一种面向对象的映射框架,通过将可移动实例建模为可重用高斯资产,并采用事件触发自适应优化,实现刚性物体重排下的高效动态场景维护。
2026-07-07 cs.RO
LGMCTS: Language-Guided Monte-Carlo Tree Search for Executable Semantic Object Rearrangement
Rutgers University(罗格斯大学)
针对可执行语义物体重排问题,提出名为LGMCTS的语言引导蒙特卡洛树搜索方法,可同步完成位姿生成与动作规划,经仿真数据集定量评估与真实机器人定性测试验证了效果。
2024-10-07 cs.RO
iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks
Stanford University(斯坦福大学)
通过使用仿真环境来开发和训练机器人学习方法,最近对具身人工智能的研究得到了推动。然而,模拟的使用已经将注意力转移到只需要机器人模拟器可以模拟的任务上:运动和物理接触。我们提出了iGibson 2.0,一个开源的模拟环境,通过三个关键的创新,支持更多样化的家庭任务的模拟。首先,iGibson 2.0支持对象状态,包括温度、湿度水平、清洁度水平以及切换和切片状态,这是覆盖更广泛任务所必需的。其次,iGibson 2.0实现了一组谓词逻辑函数,将模拟器状态映射到Cooked或Soaked等逻辑状态。此外,给定一个逻辑状态,iGibson 2.0可以采样满足它的有效物理状态。该功能可以生成潜在的无限任务实例,只需用户付出最少的努力。采样机制允许我们的场景在语义上有意义的位置更密集地填充小对象。第三,iGibson 2.0包括一个虚拟现实(VR)界面,使人类沉浸在其场景中以收集演示。因此,我们可以收集人类对这些新型任务的演示,并将其用于模仿学习。我们评估了iGibson 2.0的新功能,使机器人学习的新任务,希望展示这种新的模拟器的潜力,以支持新的研究体现人工智能。iGibson 2.0及其新数据集可在http://svl.stanford.edu/igibson/上公开获取。
2021-11-03 cs.AI cs.CV cs.LG
PanoNav: Mapless Zero-Shot Object Navigation with Panoramic Scene Parsing and Dynamic Memory
PanoNav提出一种仅用RGB的无地图零样本物体导航框架,通过全景场景解析和动态有界记忆队列增强记忆引导决策,有效避免局部死锁,在SR和SPL指标上显著优于现有基线。
2025-11-10 cs.CV cs.RO
EgoPush: Egocentric Multi-Object Rearrangement for Mobile Robots via Constrained Teacher Observability
New York University(纽约大学)
EgoPush通过端到端学习实现移动机器人第一人称多物体重排,利用感知驱动的潜在空间和阶段分解奖励提升重排效率与现实迁移能力。
2026-09-21 cs.RO
Task and Motion Planning with Large Language Models for Object Rearrangement
Meta AI;The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
针对服务机器人多物体重排中常识知识难迁移的问题,提出LLM-GROP方法,从大语言模型提取常识知识并结合任务运动规划器适配不同场景,经评估在成功率和人类评分上优于基准方法,并完成真实机器人落地验证。
2023-10-05 cs.RO
Adversarial Object Rearrangement in Constrained Environments with Heterogeneous Graph Neural Networks
Univ. of Minnesota(明尼苏达大学)
提出一种结合HetGNN高层推理与3D CNN低层执行的分层机器人系统,在受限环境中协调多种技能完成对抗性物体重排,真实实验成功率达87.88%。
2023-09-27 cs.RO
Semantic Robot Programming for Goal-Directed Manipulation in Cluttered Scenes
University of Michigan(密歇根大学)
我们提出的语义机器人编程(SRP)的范例作为机器人编程的收敛,通过演示和语义映射。在SRP中,用户可以通过在工作空间中演示其预期目标场景的快照来直接对机器人操作器进行编程。然后,机器人将此目标解析为场景图,该场景图由对象姿态和对象间关系组成,假设已知对象几何形状。然后使用任务和运动规划从任意初始场景配置实现用户的目标。即使面对不同的初始场景配置,SRP也能使机器人无缝适应,以达到用户演示的目标。对于场景感知,我们提出了判别式知情生成估计的场景和变换(DIGEST)的方法来推断的初始和目标状态的RGBD图像的世界。SRP与DIGEST感知的功效被证明为任务的托盘设置与密歇根州的进步获取机器人。场景感知和任务执行评估与公共家庭遮挡数据集和我们的杂乱场景数据集。
2018-10-18 cs.RO
LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots
University of Edinburgh(爱丁堡大学);Microsoft(微软公司);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
LLM-Personalize框架通过结合模仿学习与迭代自训练的优化流水线,个性化家庭机器人LLM规划器,在Housekeep基准上成功率提升超30%,显著改善与用户偏好的对齐。
2024-12-30 cs.AI cs.RO
Co-Scale Cross-Attentional Transformer for Rearrangement Target Detection
Keio University(庆应义塾大学)
针对重排目标检测中复杂形状与开合角度变化难以分割的问题,提出共尺度交叉注意力 Transformer,并构建 RGB-变化掩码数据集,在 F1 和 mIoU 上优于基线。
2024-07-06 cs.RO
ClutterGen: A Cluttered Scene Generator for Robot Learning
Duke University(杜克大学)
针对机器人学习中杂乱场景生成难、多样性受限的问题,提出基于强化学习的ClutterGen生成器,可生成最多10个物体的稳定杂乱场景,支持开放式生成,可直接用于真实机器人的杂乱重排与放置策略训练。
2024-10-04 cs.RO
LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics
Automation and Control Institute, Faculty of Electrical Engineering, TU Wien(自动化与控制研究所,电气工程学院,维也纳技术大学);AIT Austrian Institute of Technology GmbH, Center for Vision, Automation and Control(奥地利技术研究所(AIT)有限公司,视觉、自动化与控制中心)
提出一种基于LLM驱动多智能体编排与记忆增强的具身机器人系统,结合RAG与视觉模型实现自主家庭物品管理,在多场景下展现出高任务规划准确率与提升的记忆召回率。
2025-04-30 cs.AI cs.CL cs.RO
Continuous Scene Representations for Embodied AI
Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
我们提出了连续场景表示(CSR),一个场景表示由一个具体的代理在一个空间内导航,对象和它们的关系是由连续值嵌入建模。我们的方法捕获对象之间的功能关系,将它们组成一个图形结构上的飞行,并位于一个具体的代理内的表示。我们的关键见解是在潜在空间中嵌入对象之间的成对关系。与离散关系相比,这允许更丰富的表示(例如,[support]、[next-to])通常用于构建场景表示。CSR可以在智能体在场景中移动时跟踪对象,相应地更新表示,并检测房间配置的变化。使用CSR,我们在视觉房间重新布置的具有挑战性的下游任务中表现优于最先进的方法,而无需任何任务特定的培训。此外,我们展示了学习的嵌入捕获场景的显著空间细节,并显示出对现实世界数据的适用性。一个总结视频和代码可在https://prior.allenai.org/projects/csr。
2022-03-31 cs.AI cs.CV cs.LG
ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments
Seoul National University(首尔大学);Yonsei University(延世大学)
针对虚拟环境与真实环境差距导致模型难部署的问题,提出基于真实3D场景的ReALFRED基准,扩展ALFRED以缩小视觉域差距,发现现有方法在所有指标上性能均下降,推动更真实的具身指令跟随研究。
2024-07-26 cs.AI cs.RO
ICGNet: A Unified Approach for Instance-Centric Grasping
ETH Zürich(苏黎世联邦理工学院);Texas A&M University(德克萨斯农工大学)
针对杂乱场景中抓取检测缺乏实例级组合理解的问题,提出端到端 ICGNet,从单视角点云生成实例中心表示并联合完成物体重建与抓取检测,在合成基准和真实清理任务中优于现有方法。
2024-05-09 cs.CV cs.RO
Single-View Shape Completion for Robotic Grasping in Clutter
Örebro University(奥雷布罗大学)
本研究利用扩散模型实现单视角下杂乱环境中物体的3D形状补全,提升机器人抓取成功率。
2025-12-18 cs.RO
Object segmentation in depth maps with one user click and a synthetically trained fully convolutional network
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);École Centrale de Lyon(里昂中央理工学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);LIRIS(图像与信息系统科学实验室);LIG(格勒诺布尔信息学实验室);Siléane(Siléane公司)
随着越来越多的家用物品按计划报废并被快速增长的人口消费,危险废物回收已成为一项重大挑战。鉴于家庭垃圾的巨大可变性,当前的回收平台主要依赖于人类操作员来分析场景,通常由大量堆积的对象实例组成。帮助他们实现酉提取的自动化是加快这一繁琐过程的关键挑战。而监督式深度学习已经证明对于这种对象级场景理解非常有效,例如,尽管在日常场景中进行一般的目标检测和分割,但是它需要大量的每像素标记图像,这对于包括工业机器人在内的许多应用环境来说几乎不可用。因此,我们提出了一个实际的交互式应用程序的步骤,用于生成面向对象的机器人把握,只需要一个深度图的场景和一个用户点击下一个对象提取的输入。更确切地说,我们在本文中解决的中间问题的对象分割在顶视图的成堆的散装对象给定的像素位置,即种子,提供交互式的人类操作员。我们提出了一个双重的框架生成边驱动的实例段。首先,我们重新设计了一个国家的最先进的完全卷积对象轮廓检测器的种子为基础的实例分割通过引入边缘掩模对偶的概念与一个新的补丁免费和面向轮廓的损失函数。其次,我们只使用合成场景来训练一个模型,而不是手动标记的训练数据。我们的实验结果表明,考虑边缘掩码对偶训练编码器-解码器网络,正如我们所建议的那样,在目前的应用背景下,优于最先进的基于补丁的网络。
2018-09-24 cs.CV cs.LG cs.RO
Extracting Zero-shot Common Sense from Large Language Models for Robot 3D Scene Understanding
Massachusetts Institute of Technology(麻省理工学院)
语义三维场景理解是机器人领域的一个重要问题。虽然在同时定位与地图构建算法方面已经取得了重大进展,但机器人仍然远不具备普通人关于家庭物体及其位置的常识知识。我们介绍了一种新的方法,利用常识嵌入在大语言模型的标签房间内包含的对象。该算法具有以下额外好处:(i)不需要特定于任务的预训练(完全在zero-shot机制中操作);(ii)推广到任意房间和对象标签,包括以前未见过的标签-这两者都是机器人场景理解算法中非常理想的特征。所提出的算法在由现代空间感知系统产生的3D场景图上操作,我们希望它将为机器人技术的更通用和可扩展的高级3D场景理解铺平道路。
2022-06-19 cs.CL cs.RO
Planning for Manipulation among Movable Objects: Deciding Which Objects Go Where, in What Order, and How
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
我们感兴趣的拾取和放置风格的机器人操作任务,在混乱和有限的3D可移动物体之间,可以重新安排的机器人,可能会滑动,倾斜,倾斜或推翻。最近提出的算法,M4 M,确定哪些对象需要移动,并通过解决多代理寻路MAPF抽象这个问题。然后,它利用一个nonadmissile推规划器来计算机器人如何实现这些重新安排和刚体物理模拟器的行动,以检查是否满足物理约束编码的问题。然而,M4 M会自动提交在计划期间发现的有效推送,并且如果需要重新排列多个对象,则不会对推送进行排序。此外,M4 M并不推理其他可能导致不同重排和推送的MAPF解决方案。在本文中,我们扩展M4 M和增强M4 M(E-M4 M)-一个系统的图形搜索为基础的求解器,搜索顺序的推动需要重新安排和不同的可能重新安排的场景的可移动物体。我们介绍了几种算法的优化,以规避增加的计算复杂性,讨论的空间问题可解决的E-M4 M和实验表明,无论是在真实的机器人和模拟,它显着优于原来的M4 M算法,以及其他国家的最先进的替代品时,处理复杂的场景。
2023-03-23 cs.AI cs.RO
EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms
University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);University of Maryland, College Park(马里兰大学帕克分校)
介绍了一种新的事件相机数据集EVIMO2,它通过在更复杂的场景中提供来自更好的相机的更多数据来改进流行的EVIMO数据集。与其前身一样,EVIMO2以每像素地面真实深度和分割以及相机和对象姿势的形式提供标签。所有序列都使用来自物理相机的数据,许多序列具有多个独立移动的对象。通常,这样的标记数据在物理事件相机数据集中不可用。因此,EVIMO2将作为现有算法的一个具有挑战性的基准,并为新算法的开发提供丰富的训练集。特别是,EVIMO2是适合于支持运动和对象分割,光流,运动恢复结构和视觉(惯性)里程计在单眼或立体配置的研究。EVIMO 2包含来自三个640 $\times$ 480事件相机、一个2080 $\times$ 1552经典彩色相机的41分钟数据、来自两个六轴惯性测量单元的惯性测量以及来自Vicon运动捕捉系统的毫米精度物体姿态。数据集的173个序列被分为三类。3.75独立移动的家居物品22.55分钟,静态场景22.55分钟,浅层场景中的基本运动14.85分钟。一些序列是在弱光条件下记录的,而传统的相机无法做到。深度和分段对于事件相机以60 Hz提供,对于经典相机以30 Hz提供。可以使用开源代码重新生成掩码,速率高达200 Hz。本技术报告简要介绍了EVIMO2。完整的文件可在网上查阅。单个序列的视频可以在下载页面上进行采样。
2022-05-06 cs.CV cs.RO
MR6D: Benchmarking 6D Pose Estimation for Mobile Robots
TU Dortmund(图鲁特大学);Fraunhofer IML(弗劳恩霍夫智能系统研究所);LAMARR Institute for Machine Learning(机器学习研究所)
本文提出MR6D数据集,针对移动机器人在工业环境中的6D位姿估计,涵盖92个真实场景和16个物体,揭示现有方法在远距离、大物体和复杂遮挡下的不足,为移动机器人位姿估计研究奠定基础。
2025-08-19 cs.CV cs.RO
Dynamic Buffers: Cost-Efficient Planning for Tabletop Rearrangement with Stacking
Human and Robot Interaction Laboratory, School of Electrical and Computer Engineering, University of Tehran(人类与机器人交互实验室,电气与计算机工程学院,塔里班大学)
针对桌面整理中固定缓冲与静态堆叠导致的低效问题,提出 Dynamic Buffer 可移动临时堆叠规划原语,显著降低密集和大规模场景的机械臂移动成本。
2026-09-29 cs.AI cs.RO
Sequential Manipulation Planning on Scene Graph
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Peking University(北京大学);Tsinghua University(清华大学)
我们设计了一个三维场景图表示,接触图+(CG+),高效的顺序任务规划。这种基于接触图的表示方法通过类似谓词的属性进行增强,从而利用简洁的几何信息和有效的机器人场景交互来抽象场景布局。目标配置,自然指定的接触图,可以产生的遗传算法与随机优化方法。然后通过计算初始接触图和目标配置之间的图形编辑距离(GED)来初始化任务计划,其生成对应于可能的机器人动作的图形编辑操作。我们通过施加约束来规范图形编辑操作的时间可行性,从而确保有效的任务和运动对应关系,从而最终确定任务计划。在一系列的仿真和实验中,机器人成功地完成了传统规划语言如规划域定义语言(PDDL)难以描述的复杂顺序对象重排任务,证明了基于接触图的机器人顺序任务规划的可行性和潜力。
2022-07-17 cs.AI cs.RO