Stable Object Placement Planning From Contact Point Robustness
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所在读)
提出一种先选接触点再定放置姿态的规划器,利用稳定性启发式加速搜索,比传统方法快20倍,并在真实实验中验证了其通用性和有效性。
2025-05-23 cs.AI cs.RO
CON: Continual Object Navigation via Data-Free Inter-Agent Knowledge Transfer in Unseen and Unfamiliar Places
University of Fukui(福井大学)
提出一种轻量级即插即用的无数据知识转移模块,通过基于查询的占用地图在未见环境中实现旅行者机器人与本地黑盒教师机器人间的持续目标导航知识转移。
2024-09-23 cs.CV cs.LG cs.RO
Learning from Planned Data to Improve Robotic Pick-and-Place Planning Efficiency
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科)
提出基于能量的模型预测共享抓取,加速机器人抓取-放置规划,提高数据效率并泛化到新抓取和相似物体。
2025-06-18 cs.RO
Training Self-localization Models for Unseen Unfamiliar Places via Teacher-to-Student Data-Free Knowledge Transfer
University of Fukui(福井大学)
针对开放世界中机器人自定位模型训练数据缺失问题,提出一种教师到学生的无数据知识迁移方案,通过重建伪训练数据集实现持续学习,在递归知识蒸馏中稳定提升性能。
2024-03-13 cs.AI cs.CV cs.LG
DEDUCE: Diverse scEne Detection methods in Unseen Challenging Environments
Contextual Robotics Institute(情境机器人研究所);University of California, San Diego(加州大学圣地亚哥分校)
近年来,用于帮助人们进行日常活动的服务机器人的数量迅速增加。不幸的是,这些机器人中的大多数都需要人工输入进行训练,以便在室内环境中完成任务。成功的国内导航通常需要获得有关环境的语义信息,这些信息可以在没有人类指导的情况下学习。在本文中,我们提出了一组DEDUCE -Unseen环境中的多样场景检测方法算法,该算法结合了来自场景识别系统和对象检测器的深度融合模型。本文描述的五种方法已经在几个流行的近期图像数据集以及通过多个移动平台获取的真实视频上进行了评估。最后的结果表明,现有的国家的最先进的视觉识别系统的改进。
2019-08-01 cs.CV cs.RO
Non-rigid Relative Placement through 3D Dense Diffusion
Robotics Institute, School of Computer Science(计算机学院机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
针对现有相对放置方法无法处理非刚性物体的问题,提出交叉位移概念与基于视觉的3D密集扩散方法,实现可变形物体间的相对放置,在多类高变形任务中展现出强泛化能力。
2024-10-29 cs.AI cs.CV cs.LG
Generating Stable Placements via Physics-guided Diffusion Models
STARS Laboratory, University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所STARS实验室);Laboratory for Autonomous Systems and Mobile Robotics(自主系统与移动机器人实验室);University of Zagreb Faculty of Electrical Engineering and Computing(Zagreb大学电气工程与计算学院)
本研究提出一种物理引导扩散模型,将稳定性直接融入采样过程,生成无穿透且力平衡的物体放置,较几何方法鲁棒性提升56%、耗时减少47%。
2025-09-25 cs.LG cs.RO
Object-centric Inference for Language Conditioned Placement: A Foundation Model based Approach
Zhejiang University(浙江大学)
针对语言条件化物体放置任务,提出基于基础模型的以对象为中心框架,利用约0.26M参数实现97.75%成功率,并在少样本和泛化性上优于现有方法。
2023-04-06 cs.AI cs.LG cs.RO
6-DoF Stability Field via Diffusion Models
Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术研究所);University of Chicago(芝加哥大学)
本文提出6-DoFusion,利用扩散模型在SE(3)空间逐步细化随机位姿,从上下文相关的稳定位姿分布中采样,实现杂乱场景中的稳定物体放置与堆叠,并能提升现有3D位姿估计精度。
2023-10-26 cs.CV cs.RO
Household navigation and manipulation for everyday object rearrangement tasks
Aurora Operations, Inc.(奥罗拉运营公司);UC San Diego(加州大学圣地亚哥分校)
本文提出整合错放物检测、偏好化放置预测、稳定抓取操作与跨房间导航的家庭物品整理机器人流程,并在真实平台上验证多房间转移和复杂拾放任务。
2023-12-11 cs.RO
SARI: Phase-Split Sim-Real Co-Training for Contact-Rich Manipulation
The Hong Kong University of Science and Technology(香港科技大学);BYD Company Limited(比亚迪股份有限公司)
SARI通过相位分离联合训练,在仿真中生成多样接近、在真实中采集少量接触交互,实现接触密集操作的高效泛化,减少34.3%真实数据收集时间。
2026-10-05 cs.RO
SceneComplete: Open-World 3D Scene Completion in Cluttered Real World Environments for Robot Manipulation
Computer Science and Artificial Intelligence Laboratory, MIT(计算机科学与人工智能实验室,麻省理工学院)
SceneComplete通过组合多种预训练感知模块,从单张RGB-D图像构建完整分割的三维场景模型,实现准确重建并支持稳健抓取提议生成。
2025-11-07 cs.RO
Predicting Stable Configurations for Semantic Placement of Novel Objects
NVIDIA Corporation(英伟达公司);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);School of Computing, University of Utah(犹他大学计算学院)
人类环境包含以各种布置配置的许多对象。我们的目标是使机器人能够根据在新环境中学习到的语义关系来放置以前看不见的对象。我们将这个问题分为两部分:(1)为对象找到物理上有效的位置;(2)确定这些姿势是否满足学习到的高级语义关系。我们从头开始构建我们的模型和训练,以便与我们提出的未知对象语义放置规划算法紧密集成。我们纯粹在模拟中训练我们的模型,不需要在现实世界中使用的微调。我们的方法,使运动规划语义重排的场景中的未知对象具有不同的几何形状,只有RGB-D传感。我们通过一组模拟消融的实验表明,单独使用一个关系分类器是不够的可靠的规划。我们进一步证明了我们的计划器的能力,通过一组现实世界的实验,各种对象生成和执行不同的操作计划。
2021-08-26 cs.CV cs.RO
Robust Place Categorization with Deep Domain Generalization
传统的机器人视觉场所分类方法假设训练图像和测试图像具有相似的视觉外观。因此,任何季节、光照和环境变化通常都会导致性能严重下降。为了解决这个问题,最近的工作已经提出采用领域自适应技术。虽然有效,但这些方法假设有关机器人将操作的场景的一些先验信息在训练时可用。不幸的是,在许多情况下,这种假设并不成立,因为我们通常不知道机器人将被部署在哪里。为了克服这个问题,在本文中,我们提出了一种方法,旨在学习分类模型能够推广到看不见的场景。具体来说,我们提出了一个新的深度学习框架的领域泛化。我们的方法开发的直觉,给定一组不同的分类模型与已知的域(例如,对应于多个环境,机器人),在新的域中的新样本的最佳模型可以直接计算在测试时通过最佳组合的已知模型。为了实现我们的想法,我们利用了深度领域自适应的最新进展,并设计了一个卷积神经网络架构,该架构具有执行批量归一化的加权版本的新层。我们的实验,在三个常见的数据集进行机器人的地方分类,证实了我们的贡献的有效性。
2018-05-30 cs.CV cs.RO
Pose-Agnostic Robotic Functional Grasping via Observation-Action Canonicalization
Tsinghua University(清华大学);Amazon(亚马逊);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
提出AnyMug框架,通过观测-动作规范化将深度观测和末端执行器动作转换到物体中心坐标系,训练单一闭环策略实现零样本迁移的功能性抓取,在模拟和真实机器人上均取得高成功率。
2026-06-23 cs.RO
GR-Dexter Technical Report
ByteDance Seed(字节跳动种子)
GR-Dexter 提出了一种综合框架,通过紧凑机械手、双臂遥控系统和训练配方,实现基于VLA的通用灵巧手机器人操作。
2026-01-09 cs.RO
Stimulating Imagination: Towards General-purpose "Something Something Placement"
Rightly Robotics(Rightly机器人)
本文提出SPORT方法,通过大型视觉模型与扩散位姿估计器相结合,仅传递物体类型信息,在无需大规模训练的情况下实现基于“某某”指令的通用物体放置,并可迁移至真实场景。
2025-07-21 cs.AI cs.RO
Learning to Throw Objects Safely in Multi-Obstacle Environments
University of Groningen(格罗宁根大学);University of Edinburgh(爱丁堡大学)
研究在多障碍物环境中安全投掷物体的问题,引入势场状态表示,结合动觉演示初始化,用SAC等算法优化,经模拟和真实机器人实验,该表示在成功率和扩展性上表现出色,实现了模拟到真实的可靠迁移。
2026-07-08 cs.CV cs.LG cs.RO
Improving Robot Success Detection using Static Object Data
Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
我们使用静态对象数据来提高堆叠对象和嵌套对象的成功检测。这些动作对于某些机器人任务是必要的,例如,清理餐桌或打包仓库垃圾箱。然而,使用RGB-D相机来检测成功可能是不够的:相同颜色的物体可能难以区分,反射银器会导致相机感知深度的噪音。我们表明,添加有关对象本身的静态数据可以提高端到端管道对动作结果进行分类的性能。对象的图像和描述它们的语言表达对先前的几何形状、形状和大小信息进行编码,以提高分类精度。我们收集了超过13个小时的以自我为中心的操作数据,用于训练模型来推理机器人是否成功地将看不见的物体放置在彼此之间。该模型在以前未见过的对象对上实现了比任务基线高达57%的绝对增益。
2019-07-31 cs.AI cs.CL cs.RO
2nd Place Solution to the HANDS 2026 Workshop Challenge-Dexterous Grasp Motion Track: Single-Shot Trajectory Warping for Grasp Motion Generation
UNIST(蔚山科学技术院);University of Aberdeen(阿伯丁大学);Fogsphere (Redev AI Ltd, UK)(Fogsphere(英国Redev AI有限公司))
针对灵巧抓取运动生成,提出基于单次轨迹扭曲的方法,编辑单个演示而非逐步生成,结合并行单步 PPO 训练,在 HANDS 2026 挑战赛中获得第二名,简单赛道成功率最高。
2026-09-21 cs.AI cs.CV cs.RO
M2T2: Multi-Task Masked Transformer for Object-centric Pick and Place
University of Washington(华盛顿大学);NVIDIA(英伟达)
本文提出M2T2,一个基于Transformer的多任务模型,通过推理接触点和预测夹爪姿态,在杂乱场景中实现对任意物体的多种底层操作,并在真实机器人上取得零样本sim2real迁移和显著性能提升。
2023-11-02 cs.AI cs.CV cs.RO
Building 3D Object Models during Manipulation by Reconstruction-Aware Trajectory Optimization
University of Utah(犹他大学)
物体形状为机器人操作提供了重要的信息;例如,选择有效的抓取取决于感兴趣物体的全局和局部形状,而进入混乱需要精确的表面几何形状,以避免与环境的意外接触。基于模型的3D对象操作是一个广泛研究的问题,然而,获得多个对象的准确的3D对象模型往往需要繁琐的工作。在这封信中,我们利用高斯过程隐式曲面(GPIS)从RGB-D传感器数据提取掌握一个未知的对象。我们提出了一种重建感知的轨迹优化,它利用提取的GPIS模型规划运动,以提高估计对象的3D几何形状的能力,同时执行拾取和放置动作。本文提出了一种机器人自主学习和跟踪目标的概率方法,同时实现了机器人的操作任务。我们使用基于采样的轨迹生成方法来探索使用GPIS模型的估计条件熵的对象的看不见的部分。我们验证了我们的方法与物理机器人实验在11个不同的对象的不同形状的YCB对象数据集。我们的实验表明,我们的重建感知轨迹优化提供了更高质量的三维物体重建相比,直接解决的操作任务或使用启发式查看看不见的部分的对象。
2019-05-10 cs.AI cs.CV cs.RO
One-Shot Object Localization Using Learnt Visual Cues via Siamese Networks
Indian Institute of Science(印度科学学院);Robert Bosch Center for Cyber-Physical Systems(罗伯特·博世信息物理系统研究中心)
一个能够在新的非结构化环境中工作的机器人必须能够识别新的、以前看不见的物体。在这项工作中,一个视觉提示是用来指定一个新的感兴趣的对象,必须在新的环境中本地化。一个端到端的神经网络配备了一个暹罗网络用于学习线索,推断感兴趣的对象,然后将其定位在新的环境。我们表明,一个模拟的机器人可以拾取和放置新的对象指向激光笔。我们还评估了所提出的方法在来自Omniglot手写字符数据集和小玩具数据集的数据集上的性能。
2020-12-26 cs.CV cs.LG cs.RO
Convolutional Occupancy Models for Dense Packing of Complex, Novel Objects
UC Berkeley(加州大学伯克利分校)
提出全卷积形状补全模型F-CON与数据集COB-3D-v2,解决高遮挡场景下的3D几何感知难题,结合规划算法实现了复杂未见物体的真实世界密集堆放。
2023-07-31 cs.CV cs.LG cs.RO