Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation
针对现有VLA模型扁平策略难以处理长时程操作的问题,提出HiRoC分层后训练框架,通过解耦规划与执行并对齐分布,在机器人操作基准上取得优于强基线的性能。
2026-08-07 cs.RO
Composing Dextrous Grasping and In-hand Manipulation via Scoring with a Reinforcement Learning Critic
Learning AI for Dextrous Robots Lab, Technical University of Munich(灵巧机器人学习AI实验室,慕尼黑技术大学);DLR Institute of Robotics & Mechatronics(德意志航天中心机器人与机电研究所)
提出利用手内操作强化学习智能体的评论家网络对初始抓取进行评分和选择,无需额外训练即可显著提升操作成功率,并在真实系统上实现了自主抓取与重定向的完整流程。
2025-05-19 cs.AI cs.RO
Hierarchical Diffusion Policy for Kinematics-Aware Multi-Task Robotic Manipulation
Dyson(戴森)
本研究提出分层扩散策略HDP,通过高层规划末端执行器位姿、低层结合运动学感知扩散模型生成轨迹,在仿真与真实机器人多任务操作中成功率显著优于现有方法。
2024-03-06 cs.AI cs.CV cs.LG
EMPIRE: Explicit Manipulation Planning as a Learnable Intermediate Representation for Egocentric Hand-Motion Forecasting
该研究针对现有手运动预测方法忽略操作过程、梯度干扰的问题,提出两阶段框架EMPIRE,构建EMPIRE-651K数据集,实现了更优的手运动预测精度。
2026-08-25 cs.AI cs.RO
Hierarchical Residual Policy Learning for Real-World Mobile Manipulation with Sparse Human Guidance
Northeastern University(东北大学);University of California, Riverside(加州大学河滨分校);Georgia Institute of Technology(佐治亚理工学院)
本文提出HiRe-MoMa框架,通过分层残差架构与专家引导值对齐,仅用约30分钟在线交互即可在TIAGo++平台上高效微调移动操作系统,提升任务性能,为复杂机器人部署提供实用范式。
2026-10-15 cs.AI cs.LG cs.RO
HiMem-WAM: Hierarchical Memory-Gated World Action Models for Robotic Manipulation
The University of Hong Kong(香港大学);INFIFORCE;Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Wuhan University(武汉大学);Southern University of Science and Technology(南方科技大学)
提出分层记忆门控世界动作模型HiMem-WAM,通过分层潜在动作框架和边界触发记忆更新,提升长时域机器人操作的任务相关记忆与泛化鲁棒性。
2026-06-09 cs.RO
HiLMa-Res: A General Hierarchical Framework via Residual RL for Combining Quadrupedal Locomotion and Manipulation
University of California, Berkeley(加州大学伯克利分校);Simon Fraser University(西蒙弗雷泽大学)
本研究提出通用分层框架HiLMa-Res,通过残差强化学习结合四足机器人的运动与操作控制,开发可适配多任务的操作空间运动控制器,在多类真实运动-操作任务中性能优于现有方法。
2024-07-09 cs.RO
Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation
University of Freiburg(弗莱堡大学)
针对非结构化环境中机器人需结合操作与导航完成多目标搜索的问题,提出分层强化学习方法HIMOS,通过语义地图和高层动作空间组合多类技能,实现零样本环境迁移且鲁棒性优异。
2023-10-19 cs.AI cs.LG cs.RO
DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation
Nankai University(南开大学);Rightly Robotics, A4x
DeformSmith提出分层智能体构建与物理约束引导的框架,从文本或单图自动生成可交互可变形资产,经机器人交互反馈闭环优化,优于现有基线并支持操作数据合成。
2026-09-18 cs.RO
Learning Manipulation Skills Via Hierarchical Spatial Attention
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院)
学习机器人操作中的可推广技能长期以来一直具有挑战性,这是由于真实世界的观察和动作空间。解决这个问题的一种方法是集中注意力--机器人学习在哪里关注它的传感器,不相关的细节被忽略。然而,这些方法在很大程度上没有流行起来,由于学习一个好的注意力策略的困难和增加的部分可观察性引起的一个狭窄的窗口的焦点。本文通过将目光约束到空间层次来解决第一个问题。对于第二个问题,我们确定了一种情况下,由注意力引起的部分可观测性不会阻止Q学习找到最优策略。最后,我们与真正的机器人实验上具有挑战性的挑选位置的任务,证明了该方法的适用性。
2020-03-04 cs.RO
LDHP: Library-Driven Hierarchical Planning for Non-prehensile Dexterous Manipulation
提出库驱动分层规划器LDHP,通过顶层接触状态规划器与底层抓取规划器协同,实现非抓取操作的可执行性,在零自由度提升和槽插入任务中验证了鲁棒性。
2026-07-01 cs.RO
A Tendon-Driven Five-Fingered Hand with Distributed Tactile Perception for Dexterous Manipulation
该研究针对人形机器人复杂操作需求,设计了带分布式触觉感知的刚柔混合肌腱驱动五指机械手,通过双模态触觉传感实现接触与力检测,实验验证了其集成驱动-感知系统的可行性。
2026-08-27 cs.AI cs.RO
Hierarchical Visual Policy Learning for Long-Horizon Robot Manipulation in Densely Cluttered Scenes
Academy for Engineering & Technology, Fudan University(复旦大学工程与应用技术研究院);Tsinghua University(清华大学)
提出视觉分层策略 HCLM,结合 BC 与 HRL,并通过 SEQ 和 TSUS 提升密集杂乱场景下长程机器人操作的成功率、效率及泛化能力。
2023-12-05 cs.RO
RObotic MAnipulation Network (ROMAN) -- Hybrid Hierarchical Learning for Solving Complex Sequential Tasks
School of Informatics, University of Edinburgh, UK(信息学院,爱丁堡大学);Department of Computer Science, University College London, UK(计算机科学系,伦敦大学学院)
提出混合分层学习框架ROMAN,通过整合行为克隆、模仿学习和强化学习,协调多个专门处理子任务的神经网络,有效解决机器人长跨度复杂序列操作任务,并实现鲁棒的故障恢复与自适应行为。
2025-10-31 cs.LG cs.RO
Enhancing Dexterity in Robotic Manipulation via Hierarchical Contact Exploration
Carnegie Mellon University(卡内基梅隆大学)
针对机器人灵巧操作规划因接触非平滑性等带来的难题,提出基于蒙特卡洛树搜索的三层分层规划框架HiDex,可高效完成多类内外灵巧操作任务,灵活适配不同场景与机器人。
2023-11-08 cs.RO
RoBridge: A Hierarchical Architecture Bridging Cognition and Execution for General Robotic Manipulation
Sun Yat-sen University(中山大学);MBZUAI;Peng Cheng Laboratory(鹏城实验室);X-Era.AI Inc.(X-Era.AI公司);Spatialtemporal AI(时空人工智能)
本文提出分层架构 RoBridge,通过 VLM 认知规划器、符号化 IOR 和强化学习具身智能体弥合认知与执行,在新任务及少样本 sim-to-real 操作中显著提升成功率。
2025-07-23 cs.AI cs.CV cs.RO
Hierarchical and Modular Network on Non-prehensile Manipulation in General Environments
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出一种模块化可重构架构,结合扩展的接触表示和程序化环境生成,使非抓取操作策略能零样本迁移至真实世界,并发布含353个物体的模拟基准。
2025-06-19 cs.AI cs.LG cs.RO
MemoAct: Atkinson-Shiffrin-Inspired Hierarchical Memory-Augmented Policy for Robotic Manipulation
Chongqing University(重庆大学)
本文提出MemoAct,一种基于层次内存的策略,通过不同内存层级解决任务状态跟踪和长周期记忆保留的问题,并通过MemoryRTBench验证其在模拟和现实场景中的优越性能。
2026-08-04 cs.RO
Affordance RAG: Hierarchical Multimodal Retrieval with Affordance-Aware Embodied Memory for Mobile Manipulation
Keio University(keio大学);Keio AI Research Center(keio人工智能研究中心);Carnegie Mellon University(卡内基梅隆大学)
本研究提出Affordance RAG框架,通过构建具有可操作性的具身记忆,提升机器人在开放词汇移动操作中的检索性能和任务成功率。
2025-12-22 cs.CL cs.CV cs.RO
A0: An Affordance-Aware Hierarchical Model for General Robotic Manipulation
MBZUAI;SYSU(南方科技大学);SUSTech(华南理工大学);Spatialtemporal AI(时空人工智能);CMU(卡内基梅隆大学)
A0提出了一种分层的可及性感知扩散模型,通过分解操作任务为高层空间可及性理解和低层动作执行,提升机器人操作的效率和灵活性。
2026-01-20 cs.RO
A4T: Hierarchical Affordance Detection for Transparent Objects Depth Reconstruction and Manipulation
University of Liverpool(利物浦大学);King’s College London(伦敦国王学院);Monash University(莫纳什大学)
透明物体在我们的日常生活中被广泛使用,因此机器人需要能够处理它们。然而,透明物体会受到光反射和折射的影响,这使得获得执行处理任务所需的准确深度图变得具有挑战性。在本文中,我们提出了一种新的基于启示的框架,用于深度重建和透明对象的操作,命名为A4 T。首先使用分层的AffordanceNet来检测透明对象及其相关的可供性,这些可供性对对象的不同部分的相对位置进行编码。然后,给定预测的示能表示图,使用多步深度重构方法来渐进地重构透明对象的深度图。最后,重建的深度图用于透明对象的基于启示的操作。为了评估我们提出的方法,我们构建了一个真实世界的数据集TRANS-AFF,其中包含透明对象的启示和深度图,这是同类中的第一个。大量的实验表明,我们提出的方法可以预测准确的示能图,并显着提高透明对象的深度重建相比,国家的最先进的方法,与均方根误差米显着降低从0.097到0.042。此外,我们证明了我们所提出的方法的有效性与一系列的机器人操作实验透明物体。请参见https://sites.google.com/view/affordance4trans上的补充视频和结果。
2022-07-11 cs.RO
Dual-Arm In-Hand Manipulation and Regrasping Using Dexterous Manipulation Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);Yale University(耶鲁大学)
本文主要研究了用平行夹持器对物体进行手内操作和重夹持的问题。我们提出灵巧操作图(DMG)作为一种表示,我们定义规划在手的操作和重握。DMG是一个断开的无向图,表示手指沿着物体表面的可能运动。我们制定的手操纵和重握问题作为一个图形搜索问题,从初始到最终的配置。由此产生的计划是一系列协调的手推和重握运动。我们提出了一个双臂系统的执行顺序,双手可互换使用。我们展示了我们的方法,ABB Yumi机器人的任务与不同的把握重新配置。
2019-05-16 cs.RO
AIRoA MoMa Dataset: A Large-Scale Hierarchical Dataset for Mobile Manipulation
The University of Tokyo(东京大学);AI Robot Association (AIRoA)(人工智能机器人协会);Toyota Motor Corporation(丰田汽车公司);Telexistence, Inc.(Telexistence公司);National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院);Waseda University(早稻田大学)
本文发布真实世界大规模多模态移动操作数据集 AIRoA MoMa,提供同步视觉、关节、六轴力-力矩与机器人状态数据及两层层级标注,以支持 VLA 模型训练与错误分析。
2025-09-29 cs.AI cs.CV cs.RO
HSC-VLA: Hierarchical Scene-Clearing for Robust Bimanual Manipulation in Dense Clutter
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
HSC-VLA 通过分层场景清除方法提升密集杂乱环境中的双臂操作鲁棒性,实现 86.7% 的高成功率。
2026-03-08 cs.RO
HCPG-Flow:Hierarchical Contact-Progress Guidance for Flow-Policy Robot Manipulation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(机器人技术与系统国家重点实验室,哈尔滨工业大学)
研究机器人操作流策略中动作选择问题,提出HCPG-Flow方法,通过分层、以对象为中心的接触进展引导增强SAC-Flow,在模拟和物理任务中提高成功率,减少完成时间。
2026-07-21 cs.RO
LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories
LabDex是面向化学实验室灵巧操作的分层基准,整合真实与仿真平台,覆盖原子技能、组合任务及长周期实验,可用于机器人学习方法的跨层级评估,为自主实验室机器人研发提供支撑。
2026-08-20 cs.RO
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);J.P. Morgan AI Research(摩根大通AI研究);Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
本研究提出DexUMI数据收集与策略学习框架,通过可穿戴外骨骼的硬件适配和机器人手图像修复的软件适配缩小人机具身差距,实现人手向多类机器人手的灵巧技能迁移,真实实验平均任务成功率达86%。
2025-10-02 cs.RO
H-GAR: A Hierarchical Interaction Framework via Goal-Driven Observation-Action Refinement for Robotic Manipulation
H-GAR通过目标驱动的观察-动作细化分层框架提升机器人操控的准确性和一致性。
2025-12-05 cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa(比萨大学);Institute of Information Science and Technologies (ISTI), National Research Council (CNR)(国家研究委员会信息科学与技术研究所)
本文提出持续策略蒸馏框架,通过策略蒸馏与样本回放缓解灾难性遗忘,训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
提出GHOST框架,通过将控制分解为高层子目标预测和低层目标条件控制器,实现视觉运动操作策略的泛化,并利用人类演示适应新物体和任务变化。
2026-06-08 cs.CV cs.LG cs.RO
Perceptive Hierarchical-Task MPC for Sequential Mobile Manipulation in Unstructured Semi-Static Environments
University of Toronto Institute for Aerospace Studies (UTIAS) and the Vector Institute for Artificial Intelligence(多伦多大学航空航天研究所(UTIAS)和人工智能向量研究所);Learning Systems and Robotics lab at the Technical University of Munich and the Munich Institute for Robotics and Machine Intelligence (MIRMI)(慕尼黑技术大学学习系统与机器人实验室和慕尼黑机器人与机器智能研究所(MIRMI));School of Computing Science, Faculty of Applied Sciences, Simon Fraser University(西蒙弗雷泽大学应用科学学院计算机科学学院)
本文提出了一种具有感知能力的分层任务模型预测控制框架,用于在无结构半静态环境中高效完成序列移动操作,通过贝叶斯推断建模环境变化,提升任务执行效率和适应性。
2026-03-10 cs.RO
Learning to Transfer Human Hand Skills for Robot Manipulations
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔大学)
本文提出从人类手部示范学习联合运动流形并生成伪监督三元组,以推断合理机器人动作,显著提升真实机器人灵巧操作的重定向效果。
2025-01-07 cs.AI cs.LG cs.RO
HiFun: a Hierarchical Framework for Efficient Functional Dexterous Manipulation Learning
HKUST (Guangzhou)(香港科技大学(广州));HKUST(香港科技大学);ETH Zurich(苏黎世联邦理工学院)
针对功能灵巧操作的控制难题,提出分层RL框架HiFun,解耦为功能手技能与手臂-手协调策略,结合DMP增强,在两项灵巧手的六项任务中实现98.3%平均成功率,对动态干扰稳健。
2026-10-15 cs.RO
Functionally Divided Manipulation Synergy for Controlling Multi-fingered Hands
Osaka University(大阪大学);Meiji University(明治大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
协同提供了一个实用的方法来表达多指手的各种姿势。然而,传统的协同作用定义为再现抓取姿势不能执行通用的任务,预期多指手。锁定特定手指的位置对于多指手操纵物体是必不可少的。当使用传统的基于协同的控制来操纵对象时,这需要锁定一些手指,关节的协调受到严重限制,降低了手的灵活性。我们提出了一个功能划分的操纵协同(FDMS)方法,它提供了一个基于协同的控制,以实现降维和在手操纵。在FDMS中,首先,我们将手的每个手指的功能定义为“操纵”或“固定”。“然后,我们只对具有操作功能的手指应用协同控制,从而可以用很少的控制输入实现灵巧的操作。实验验证了该方法的有效性。
2020-03-26 cs.RO
Hierarchical Reinforcement Learning for Articulated Tool Manipulation with Multifingered Hand
State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University(机械系统与振动国家重点实验室,机械工程学院,上海交通大学);Shanghai Key Laboratory of Intelligent Robotics, Meta Robotics Institute, Shanghai Jiao Tong University(智能机器人上海重点实验室,元机器人研究院,上海交通大学)
本文提出分层目标条件强化学习框架,结合低级灵巧手策略与高级手臂策略,利用点云编码器估计工具可供性,实现多指手对镊子类关节工具的精确操纵,真实实验中抓取成功率达70.8%。
2025-07-09 cs.RO
The Cartesian Hand: In-Hand Manipulation with All-Linear Fingers
Duke University(杜克大学)
提出笛卡尔手,一种7自由度末端执行器,通过独立抓取和相对运动的线性组合实现掌内操作,在35个物体上验证了多种操作任务,并开源软硬件设计。
2026-09-23 cs.RO
Dexterous Cable Manipulation: Taxonomy, Multi-Fingered Hand Design, and Long-Horizon Manipulation
University of Edinburgh(爱丁堡大学);EPFL(洛桑联邦理工学院);University of York(约克大学)
本文针对灵巧线缆操作缺乏系统定义与合适硬件的问题,提出了线缆操作任务分类体系,并设计了一种25自由度、具有对称拇指-食指配置和可旋转指尖关节的五指手,同时开发了相应的演示采集流程,以支持长时程线缆操作任务。
2025-02-06 cs.RO
Dexterous Soft Hands Linearize Feedback-Control for In-Hand Manipulation
Robotics and Biology Laboratory, Technische Universität Berlin(柏林工业大学机器人与生物实验室);Science of Intelligence, Research Cluster of Excellence, Berlin(柏林卓越研究集群智能科学)
该研究提出基于软手形变状态与粗略近似雅可比的线性反馈控制框架,借助柔顺手自稳定特性实现快速技能习得,验证了多场景泛化能力,可通过技能序列组合实现复杂手内操作。
2023-08-22 cs.RO
Hierarchical reinforcement learning for in-hand robotic manipulation using Davenport chained rotations
端到端强化学习技术是机器人操作任务中最成功的方法之一。然而,找到一个能够解决复杂任务的好策略所需的培训时间非常长。因此,根据可用的计算资源,使用这种技术可能不可行。使用领域知识将操作任务分解为原始技能,按顺序执行,可以降低学习问题的整体复杂性,从而减少实现灵活性所需的训练量。在本文中,我们提出了使用达文波特链式旋转分解成一个更小的一组更简单的旋转技能的串联复杂的3D旋转目标。然后,可以使用较少的整体模拟经验来训练最先进的基于重复学习的方法。我们将其性能与流行的后见之明经验重放方法进行比较,该方法在模拟机器人手环境中使用相同量的经验以端到端的方式进行训练。尽管原始技能在顺序执行时的性能普遍下降,但我们发现,当计算资源有限时,将任意3D旋转分解为基本旋转是有益的,相对于以端到端方式训练的HER获得的成功率,在最复杂的3D旋转上获得大约10%的成功率增加,在最简单的旋转中,成功率提高了20%到40%。
2022-11-15 cs.RO
Benchmarking In-Hand Manipulation
KTH Royal Institute of Technology(KTH皇家理工学院);University of Utah(犹他大学);Yale University(耶鲁大学);Google AI(谷歌人工智能);NVIDIA Research(英伟达研究院)
这个基准的目的是评估规划和控制方面的机器人手操作系统。目标是评估系统通过使用手指、环境或两者的组合来改变手持物体的姿势的能力。给定来自YCB数据集的对象表面网格,我们提供初始和目标状态的示例(即,静态对象姿态和指尖位置)用于各种手内操纵任务。我们还提出了度量从特定的初始状态到达目标状态的错误的指标,当在所有任务中聚合时,该指标也可以作为系统的手操作能力的度量。我们提供与基准测试相关的支持软件、任务示例和评估结果。所有支持材料可在https://robot-learning.cs.utah.edu/project/benchmarking_in_hand_manipulation上获得
2020-01-09 cs.RO
HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation
NVIDIA;University of Washington(华盛顿大学);University of Southern California(南加州大学)
该研究提出分层 VLA 模型 HAMSTER,通过高层 VLM 预测二维路径并引导低层三维控制策略,显著增强机器人利用域外数据的能力,在七项真机泛化测试中较 OpenVLA 成功率平均提升20%。
2025-05-10 cs.AI cs.CV cs.RO
Cross-Embodiment Robot Manipulation via a Unified Hand Action Space
Intelligent Robotics and Vision Lab, University of Texas at Dallas(德克萨斯大学达拉斯分校智能机器人与视觉实验室);Intelligent Robotics and Interactive Systems Lab, Arizona State University(亚利桑那州立大学智能机器人与交互系统实验室)
提出统一手部动作空间(UHAS)用于跨实体灵巧操作,将手部动作表示为标准球体几何变形,用级联逆运动学算法映射,经强化学习训练策略,实现跨实体零样本转移等显著收益。
2026-07-07 cs.RO
Learning Dexterous Manipulation with Quantized Hand State
本文提出DQ-RISE方法,通过量化手状态简化手部动作预测,同时允许手臂动作与紧凑手状态协同扩散,从而实现更平衡高效的灵巧操作学习。
2026-03-16 cs.RO
Region-Based Planning for 3D Within-Hand-Manipulation via Variable Friction Robot Fingers and Extrinsic Contacts
Worcester Polytechnic Institute(伍斯特理工学院);Imperial College London(伦敦帝国理工学院)
实现机器人手内操纵(WIHM)的尝试通常利用具有精细感测装置的高DOF机器人手或多臂机器人系统。在以前的工作中,我们提出了一个简单的机器人手与可变摩擦机器人手指,它允许一个低复杂度的方法,手内物体的平移和旋转,虽然这种操作仅限于平面动作。在这项工作中,我们扩展了该系统的能力,三维操纵一个新的区域为基础的WIHM规划算法,并利用外部接触。调节手指摩擦力的能力增强了三维WIHM的外在灵活性,并允许我们在准静态水平下操作。基于区域的规划器自动生成具有修改的A* 公式的3D操作序列,该修改的A* 公式导航手指和对象表面之间的接触区域以到达期望的区域。该方法的核心是一组物体运动基元(即手内滑动,旋转和旋转),这可以很容易地通过改变接触摩擦来实现。通过这种方法,可以实现广泛的目标区域,这是通过真实的机器人实验后,标准化的手操作基准协议证明。
2021-05-20 cs.RO
DexterCap: An Affordable and Automated System for Capturing Dexterous Hand-Object Manipulation
Peking University(北京大学);School of Computer Science, Peking University(北京大学计算机学院);Tencent Robotics X(腾讯机器人实验室)
DexterCap是一种低成本的自动化手部物体操作捕捉系统,通过字符编码标记和自动重建流程,实现稳健的跟踪和细粒度手部-物体交互数据集DexterHand的构建。
2026-02-12 cs.AI cs.GR cs.RO
Dexterous Manipulation Transfer via Progressive Kinematic-Dynamic Alignment
针对多指灵巧手操作数据稀缺问题,提出渐进式运动学-动力学对齐的手型无关迁移框架,可将人手演示视频转换为高质量灵巧操作轨迹,平均迁移成功率达73%,具备强泛化性与可扩展性。
2025-11-14 cs.RO
Multi-Fingered In-Hand Manipulation with Various Object Properties Using Graph Convolutional Networks and Distributed Tactile Sensors
Waseda University(早稻田大学)
多指手可以用来完成许多灵巧的操作任务,类似于人类,和触觉感知可以提高各种对象的操作稳定性。然而,多指手上的触觉传感器具有各种尺寸和形状。卷积神经网络(CNN)可以用于处理触觉信息,但是来自多指手的信息需要任意预处理,因为CNN需要矩形形状的输入,这可能导致不稳定的结果。因此,如何处理这种复杂形状的触觉信息,并利用它来实现操作技能仍然是一个悬而未决的问题。本文提出了一种基于图卷积网络(GCN)的控制方法,该方法从具有复杂传感器排列的触觉数据中提取大地线特征。此外,对象属性标签被提供给GCN以调整手内操纵运动。分布式三轴触觉传感器安装在指尖,手指指骨和手掌的快板手,导致1152触觉测量。利用数据手套采集训练数据,将人的灵巧操作直接传递给机器人手。GCN实现了高成功率的手操作。我们还证实,当向GCN提供正确的对象标签时,易碎对象变形较少。当用PCA可视化GCN的激活时,我们验证了网络获得了测地线特征。我们的方法实现了稳定的操作,即使当实验者拉一个把握对象和未经训练的对象。
2022-05-09 cs.RO
Wearable Roller Rings to Augment In-Hand Manipulation through Active Surfaces
Department of Computer Science, Rice University(计算机科学系,莱斯大学)
本文提出可穿戴滚轮环(RR)主动表面附件,通过非共线安装和通用微分运动模型,仅用2个RR即可实现完整手内操作,并在机器人与人手上验证了对任意形状物体的灵巧操作能力。
2025-07-16 cs.RO
Surprisingly Robust In-Hand Manipulation: An Empirical Study
Technische Universität Berlin(柏林工业大学)
我们提出了在一个灵巧的,顺应性,拟人化的手的手操作技能。尽管这些技能是以一种简单的方式获得的,但它们对操纵对象的形状、大小、重量和位置的变化表现出令人惊讶的鲁棒性。它们对执行速度的变化也非常不敏感,从高度动态到准静态。技能的鲁棒性导致能够扩展和鲁棒的操纵程序的组成特性。为了解释手内操作技能令人惊讶的鲁棒性,我们对技能的表现进行了详细的实证分析。从这个分析中,我们确定了技能设计的三个原则:1)利用硬件的固有能力来驱动难以建模的接触动力学。2)采取行动来约束这些相互作用,将系统划分为一组狭窄的可能性。3)将这些动作序列组成复杂的操纵程序。我们相信,这些原则构成了强大的机器人在手操作的重要基础,并可能在一般的操作。
2022-01-27 cs.RO
OccluDex: Hierarchical 3D Visuo-Tactile Representation Learning for Egocentric Dexterous Manipulation under Self-Occlusion
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对第一人称灵巧操作中手部自遮挡导致视觉信息不足的问题,提出分层视觉-触觉表示学习框架OccluDex,通过多尺度掩码自编码和跨模态注意力融合,在仿真和物理实验中显著提升操作准确率并实现零样本泛化。
2026-10-01 cs.RO
Economical Precise Manipulation and Auto Eye-Hand Coordination with Binocular Visual Reinforcement Learning
National University of Singapore(新加坡国立大学)
在许多情况下,需要精确的机器人操作任务(插入,拧紧,精确拾取,精确放置)。以前的方法在这样的操作任务上取得了良好的性能。然而,这种方法通常需要繁琐的校准或昂贵的传感器。3D/RGB-D相机和扭矩/力传感器增加了机器人应用的成本,并且可能并不总是经济的。在这项工作中,我们的目标是解决这些问题,但只使用弱校准和低成本的网络摄像头。我们提出了双目对齐学习(BAL),它可以自动学习的眼手协调和点对齐能力,以解决这四个任务。我们的工作重点是未知的眼手协调工作,并提出了不同的方法来执行手眼相机自动校准。该算法在仿真中进行了训练,并使用一个实际的流水线实现了sim 2 real,并在真实机器人上进行了测试。我们的方法在四个任务上以最小的成本取得了有竞争力的好结果。
2022-09-15 cs.AI cs.CV cs.RO
In-hand manipulation planning using human motion dictionary
Sorbonne Universite(索邦大学);University of Genoa(热那亚大学)
本文提出一种基于运动基元字典的方法,通过优化组合指尖运动基元,使机器人生成与人类一致的掌内操作运动,并隐式继承操作约束。
2023-08-29 cs.RO
Learning Purely Tactile In-Hand Manipulation with a Torque-Controlled Hand
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)(德国航空航天中心(DLR)机器人与机电一体化研究所);Deggendorf Institute of Technology(代根多夫应用技术大学)
我们表明,一个纯粹的触觉的手操纵任务与连续重握,需要永久力关闭,可以从头开始学习和执行强大的扭矩控制的人形机器人手。该任务是旋转立方体而不使其掉落,但与OpenAI开创性的立方体操作任务相比,手掌朝下,没有摄像头,只使用手的位置和扭矩传感。虽然这项任务看起来很简单,但它首次结合了执行和学习中的所有挑战,这些挑战对于在现实世界的应用中使用手操作非常重要。我们在精确建模和识别的刚体模拟中进行了有效的训练,并使用了非策略深度强化学习,通过领域适应课程显着加快了速度,从而实现了600 CPU小时的训练时间。由此产生的策略被鲁棒地转移到真实的人形DLR Hand-II,例如,在单次运行中达到立方体的超过46个完整的2 $π$旋转,并允许干扰,如不同的立方体尺寸、手的方向或拉动手指。
2022-04-12 cs.RO
Learning Time-Optimal and Speed-Adjustable Tactile In-Hand Manipulation
DLR Institute of Robotics & Mechatronics (German Aerospace Center)(德国航空航天中心机器人与机电一体化研究所)
本文提出深度强化学习策略,在仅依赖触觉反馈和永久力闭合条件下实现SO(3)目标重定向的时间最优手内操作,并支持速度可调,成功零样本迁移至真实DLR-Hand II。
2024-11-20 cs.RO