Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation
University of Southern California(南加州大学);Stanford University(斯坦福大学)
本文提出基于存活Bellman算子的离线策略评估框架,解决稀疏奖励下任务完成问题,通过保守固定点值函数降低截断偏差,实验证明在折叠任务中优于传统基线方法。
2026-05-12 cs.AI cs.RO
Demonstration Calibrated Port-Hamiltonian Retuning for Manipulation Policies
Princeton University(普林斯顿大学);Arizona State University(亚利桑那州立大学);Siemens Foundation Technologies(西门子基础技术研究院)
提出PHRetune离线方法,利用端口-哈密顿模型从演示中推导控制器增益,无需评估rollout或搜索,提升扩散及VLA策略在仿真和真实任务中的成功率并降低加速度。
2026-10-12 cs.RO cs.SY eess.SY
ComManip: Overfitting Manipulation Policies to Comfortable Regions
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学)
针对有限演示预算下机器人操作泛化困难,提出ComManip,通过将策略专门化到舒适操作区域并重新定位基座,提升成功率约20个百分点,实现数据高效学习。
2026-09-30 cs.RO
Deictic Image Maps: An Abstraction For Learning Pose Invariant Manipulation Policies
College of Computer and Information Science, Northeastern University(东北大学计算机与信息科学学院)
在深度强化学习在机器人领域的应用中,我们通常希望学习姿势不变策略:即对世界中对象的位置和方向变化保持不变的策略。例如,考虑一个钉孔插入任务。如果智能体学会将钉子插入一个洞中,我们希望该策略能够推广到以不同姿势呈现的洞。不幸的是,这是使用常规方法的挑战。本文提出了一种新的状态和动作抽象,称为\textit{deictic image maps},可用于深度强化学习,它对姿势偏移是不变的。我们提供了广泛的条件下,最佳的抽象政策是最佳的底层系统。最后,我们表明,该方法可以帮助解决具有挑战性的机器人操作问题。
2018-09-17 cs.RO
A Mechanical Screwing Tool for 2-Finger Parallel Grippers -- Design, Optimization, and Manipulation Policies
Osaka University(大阪大学);National Inst. of AIST(产业技术综合研究所)
本文提出了一种双指并联机器人手爪的机械工具及其操作策略。它主要集中在一个机构,转换为连续旋转的两指平行夹持运动,以实现紧固螺钉等任务。该工具的基本结构包括一个剪式元件(SLE)机构和一个双棘轮机构。它们一起将重复的线性运动转换为连续的旋转运动。在SLE机构的关节处,连接有弹性元件,以提供夹持工具的阻力,并在夹持器释放工具时产生扭矩输出。该工具完全是机械式的,允许机器人在没有任何外围设备和电源的情况下使用该工具。本文详细介绍了工具的设计,优化其尺寸和有效行程长度,并研究了接触和力,以实现稳定的抓持和拧紧。除了设计之外,本文还为工具开发了操作策略。这些策略包括视觉识别、拾取和操纵以及交换工具提示。所研制的工具在前端产生顺时针旋转,在后端产生逆时针旋转。各种工具提示可以安装在两端。机器人可以采用所开发的操作策略来根据特定紧固或松开任务的需要交换工具提示和旋转方向。机器人还可以使用拾取和放置或移交来重新定向工具,并使用策略将工具移动到工作姿势。所设计的工具,连同开发的操作政策,分析和验证在几个现实世界中的应用。该工具体积小,无线,方便,并具有良好的鲁棒性和适应性。
2020-06-18 cs.RO
FALCON: Actively Decoupled Visuomotor Policies for Loco-Manipulation with Foundation-Model-Based Coordination
Department of Mechanical Engineering, College of Design and Engineering, National University of Singapore(机械工程系,设计与工程学院,新加坡国立大学)
FALCON通过基于基础模型的解耦视觉-运动策略,实现移动- manipulation任务中更高效的协调与鲁棒性。
2025-12-04 cs.RO
Planning and Resilient Execution of Policies For Manipulation in Contact with Actuation Uncertainty
Worcester Polytechnic Institute(伍斯特理工学院);University of Michigan(密歇根大学)
我们提出了一种方法,用于规划运动的机器人与致动的不确定性,结合与环境的接触和机器人可靠地执行操作任务的遵守。我们的方法由两个阶段组成:(1)使用基于采样的运动规划器生成部分策略,该运动规划器使用基于粒子的不确定性模型以及接触和顺应性的模拟;以及(2)弹性执行,该弹性执行更新计划的策略以考虑执行中可能由模型或环境不准确引起的意外行为。我们已经在模拟的SE(2)和SE(3)环境和Baxter机器人中测试了我们的计划器和策略执行。我们表明,我们的方法有效地生成的政策,以执行操作任务,涉及重大的接触和比较几个简单的方法。此外,我们表明,我们的政策适应是有弹性的重大变化,在执行过程中,例如,增加了一个新的障碍的环境。
2017-04-03 cs.RO
LongBench: Evaluating Robotic Manipulation Policies on Real-World Long-Horizon Tasks
Fudan University(复旦大学)
LongBench通过1000多个真实任务评估长时域机械臂策略,区分全观测和依赖上下文的两种模式,揭示执行鲁棒性和上下文推理的重要性。
2026-04-18 cs.RO
PriGo: Test-Time Primitive Guidance to Diffusion and Flow Policies for Adaptive Robotic Manipulation
École Centrale de Lyon(里昂中央理工学院);Beihang University(北京航空航天大学)
针对机器人操作中现有策略泛化性不足问题,提出PriGo框架,引入PANet模块及可微原语引导机制,能在测试时无缝集成到预训练策略,实验证明其提升了扩散和流策略的鲁棒性、执行及泛化能力。
2026-07-09 cs.RO
Modularity through Attention: Efficient Training and Transfer of Language-Conditioned Policies for Robot Manipulation
Arizona State University(亚利桑那州立大学);Intel AI(英特尔人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
机器人有条件的策略允许机器人解释和执行人类指令。学习这些策略需要在时间和计算资源方面进行大量投资。尽管如此,所得到的控制器是高度特定于设备的,并且不能容易地转移到具有不同形态、能力、外观或动力学的机器人。在本文中,我们提出了一种样本有效的方法来训练语言条件的操作策略,允许在不同类型的机器人之间快速传输。通过引入一种新的方法,即分层模块化,并在多个子模块之间采用监督注意力,我们弥合了模块化和端到端学习之间的鸿沟,并实现了功能构建块的重用。在模拟和真实世界的机器人操作实验中,我们证明了我们的方法优于当前最先进的方法,并且可以以样本高效的方式在4个不同的机器人之间传输策略。最后,我们证明了学习的子模块的功能在训练过程之外得到了维护,并且可以用于反思机器人决策过程。代码可在https://github.com/ir-lab/ModAttn上获得。
2022-12-08 cs.RO
Causal Reasoning in Simulation for Structure and Transfer Learning of Robot Manipulation Policies
Carnegie Mellon University(卡内基梅隆大学)
我们提出了CREST,在模拟因果推理的方法来学习相关的状态空间的机器人操作政策。我们的方法使用内部模型进行干预,这些模型是具有近似动态和简化假设的模拟。这些干预引出了状态和动作空间之间的结构,使得神经网络策略的构建仅以相关状态作为输入。这些策略使用内部模型进行预训练,并在相关状态上进行域随机化。然后将策略网络权重传递到目标域(例如,真实世界)进行微调。我们进行了广泛的政策转移实验模拟两个代表性的操作任务:块堆叠和板条箱打开。我们的政策被证明是更强大的域的变化,更有效的学习样本,并扩展到更复杂的设置与更大的状态空间。我们还显示了改进的zero-shot仿真到现实迁移我们的政策块堆叠任务。
2022-03-13 cs.RO
DISCO: Language-Guided Manipulation with Diffusion Policies and Constrained Inpainting
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Smart Systems Institute, NUS(NUS智能系统研究所)
DISCO框架利用现成视觉语言模型将自然语言指令转化为3D关键帧,并通过约束修复与优化策略引导扩散策略,在零样本开放词汇机器人操作中实现优于微调方法的泛化性能。
2025-08-19 cs.RO
UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind)
本研究提出UMI-on-Legs框架,结合真实UMI手持夹爪采集的任务操作数据与仿真训练的四足全身控制器,通过末端轨迹衔接两类策略,实现多类操作任务超70%成功率,并验证了固定臂预训练策略向四足系统的零样本跨本体部署。
2024-07-14 cs.RO
Preference Aligned Visuomotor Diffusion Policies for Deformable Object Manipulation
KTH Royal Institute of Technology(皇家理工学院);INCAR Robotics AB(INCAR机器人有限公司)
本文提出RKO方法,通过偏好对齐提升机器人对可变形物体操作的个性化性能。
2026-02-10 cs.RO
Learning Switching Criteria for Sim2Real Transfer of Robotic Fabric Manipulation Policies
University of California, Berkeley(加州大学伯克利分校)
仿真到现实的转换已经成为一种流行的和非常成功的方法,训练机器人控制策略,用于各种各样的任务。然而,确定在模拟中训练的政策何时准备好转移到物理世界通常具有挑战性。部署使用很少模拟数据训练的策略可能会导致物理硬件上的不可靠和危险行为。另一方面,过度的模拟训练会导致策略过度适应模拟器的视觉外观和动态。在这项工作中,我们研究的策略,以自动确定在模拟训练的政策时,可以可靠地转移到一个物理机器人。我们专门研究这些想法的背景下,机器人织物操作,其中成功的sim 2 real传输是特别具有挑战性的,由于精确建模的动态和织物的视觉外观的困难。织物平滑任务的结果表明,我们的切换标准与实际性能相关。特别是,我们基于信心的交换标准在总培训预算的55-60%内实现了87.2-93.7%的平均最终交换矩阵覆盖率。有关代码和补充材料,请参见https://tinyurl.com/lsc-case。
2022-07-02 cs.RO
FOCI Policy: Focus on Object-Centric Interactions for Relational Manipulation Policies
KU Leuven(鲁汶大学);Flanders Make(佛兰德斯制造研究院)
FOCI策略通过提取紧凑交互片段并建模对象间相对SE(3)运动,以少量数据实现高效的关系操作泛化。
2026-09-09 cs.RO
Learning Deep Energy Shaping Policies for Stability-Guaranteed Manipulation
Royal Institute of Technology(瑞典皇家理工学院);ASEA Brown Boveri (ABB) Corporate Research(ABB集团企业研究院)
深度强化学习(DRL)已成功用于解决各种机器人操作任务。然而,大多数现有的工作并没有解决控制稳定性的问题。这与控制理论界形成鲜明对比,在控制理论界,只要合成控制律,就必须证明稳定性。传统的稳定性分析难以DRL是无法解释的性质的神经网络政策和未知的系统动态。在这项工作中,通过推导出一个可解释的深层政策结构的基础上的$\textit{energy shaping}$控制拉格朗日系统的稳定性。然后,基于$\textit{passivity}$建立在与未知环境的物理交互期间的稳定性。其结果是在无模型框架中保证DRL的稳定性,该框架对于接触丰富的操作任务来说足够通用。通过孔钉任务的实验,据我们所知,我们在真正的机器人机械手上展示了第一个具有稳定性保证的DRL。
2021-09-24 cs.RO
B-spline Policy: Accelerating Manipulation Policies via B-spline Action Representations
Harvard(哈佛大学);MIT(麻省理工学院);UT Austin(德克萨斯大学奥斯汀分校)
研究提出B样条策略,将动作参数化为连续B样条曲线,可集成到标准策略学习管道,通过直接预测参数实现。实验表明该策略能显著减少任务完成时间,在模拟和现实任务中优于基线方法且成功率高。
2026-07-13 cs.RO
Towards Robotic Feeding: Role of Haptics in Fork-based Food Manipulation
Paul G. Allen School of Computer Science and Engineering, University of Washington(保罗·G·艾伦计算机科学与工程学院,华盛顿大学)
自主喂养是具有挑战性的,因为它需要操纵具有各种顺应性、大小和形状的食物。为了了解人类在喂食过程中如何操纵食物,并探索如何使他们的策略适应机器人,我们收集了丰富的人类轨迹数据集,要求他们拿起食物并将其喂给人体模型。从所收集的触觉和运动信号的分析,我们表明,人类适应他们的控制策略,以适应被收购的食品的合规性和形状。我们提出了一个分类的操纵策略喂养,以突出这些政策。作为第一步,以产生合规性依赖的政策,我们提出了一套分类器的合规性为基础的食品分类从触觉和运动信号。我们比较这些人的操作策略与固定位置控制策略,通过机器人。我们对人类和机器人政策的成功和失败案例的分析进一步强调了使政策适应食品合规性的重要性。
2019-02-24 cs.RO
KineSoft: Learning Proprioceptive Manipulation Policies with Soft Robot Hands
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
KineSoft 利用软体手内部应变传感和形状条件扩散策略,实现直接动觉示教与本体感知模仿学习,在形状估计、轨迹跟踪和任务成功率上优于基线方法。
2025-05-08 cs.RO
Learning Diffusion Policies for Robotic Manipulation of Timber Joinery under Fabrication Uncertainty
Princeton University(普林斯顿大学);University of Michigan(密歇根大学)
本文研究了在建筑施工中使用扩散策略学习提升机器人装配的鲁棒性和精度,通过紧密契合的木构接合作为案例,证明扩散策略能通过接触感知控制补偿对齐误差。
2026-08-25 cs.RO
Viewpoint-Agnostic Manipulation Policies with Strategic Vantage Selection
Laboratory for Learning Evaluation and Naturalization of Systems (LENS Lab)(学习评估与系统自然化实验室);Arizona State University (ASU)(亚利桑那州立大学)
针对单视角训练的视觉操作策略视角变化时性能下降的问题,提出Vantage视角选择框架,将相机放置建模为连续空间信息增益优化问题,仅需少量微调即可显著提升不同策略在视角偏移下的成功率。
2025-10-05 cs.RO
Should We Learn Contact-Rich Manipulation Policies from Sampling-Based Planners?
New York University(纽约大学);Boston Dynamics AI Institute(波士顿动力AI研究院);Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学);Artificial and Natural Intelligence Toulouse Institute(图卢兹人工智能与自然智能研究所)
针对富接触操作示教数据收集困难的问题,提出改进基于采样的规划器数据生成流程,结合基于扩散模型的目标条件BC方法,实现了有效的策略学习与硬件零样本迁移。
2025-04-27 cs.RO
Benchmarking Structured Policies and Policy Optimization for Real-World Dexterous Object Manipulation
Technical University of Darmstadt(达姆施塔特工业大学);University of Washington(华盛顿大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Cornell University(康奈尔大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
灵巧操作是机器人技术中一个具有挑战性的重要问题。虽然数据驱动方法是一种很有前途的方法,但由于流行方法的样本效率低下,目前的基准测试需要模拟或广泛的工程支持。我们为TriFinger系统提供了基准测试,TriFinger系统是一个用于灵巧操作的开源机器人平台,也是2020年真正机器人挑战赛的焦点。在挑战中取得成功的基准方法通常可以被描述为结构化策略,因为它们结合了经典机器人技术和现代策略优化的元素。电感偏置的这种包含促进了样本效率、可解释性、可靠性和高性能。该基准测试的关键方面是验证模拟和真实系统的基线,对每个解决方案的核心功能进行彻底的消融研究,以及对作为操作基准的挑战进行回顾性分析。可以在我们的网站(https://sites.google.com/view/benchmark-rrc)上找到这项工作的代码和演示视频。
2021-12-08 cs.RO
LTLDiff: Finite Linear Temporal Logic-Guided Data Generation and Diffusion Policies for Multi-agent Robotic Manipulation
University of Toronto(多伦多大学);A*STAR Centre for Frontier AI Research (A*STAR CFAR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心(A*STAR CFAR))
针对多智能体操作中的协调失败问题,提出LTLDiff框架,结合有限线性时序逻辑规范学习与扩散策略,实现逻辑引导的数据生成和策略训练,提升任务成功率。
2026-09-11 cs.RO
Abstracting Robot Manipulation Skills via Mixture-of-Experts Diffusion Policies
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Smart Systems Institute, NUS(NUS智能系统研究所);Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);Beijing Zhongguancun Academy(北京中关村学院)
本文提出了一种基于扩散的混合专家策略,通过学习紧凑的技能基础和粘性路由机制,实现高效多任务机器人操作。
2026-01-29 cs.RO
Contact Optimization for Non-Prehensile Loco-Manipulation via Hierarchical Model Predictive Control
University of Southern California(南加州大学)
最近的研究集中在四足机器人的运动或移动操作使用的机器人手臂。足式机器人可以操纵较重和较大的物体使用非弹性操作原语,如平面推动,驱动对象到所需的位置。在本文中,我们提出了一种新的分层模型预测控制(MPC)的接触优化的操作任务。使用两个级联的MPC,我们分裂的本地操作问题分为两部分:第一,以优化机器人和物体之间的接触力和接触位置,第二,通过机器人运动调节所需的相互作用力。我们的方法是成功地验证了在仿真和硬件实验。虽然基线运动MPC未能遵循所需的轨迹的对象,我们提出的方法可以有效地控制对象的位置和方向,以最小的跟踪误差。这种能力也使我们能够执行避障的机器人和对象在本地操作任务。
2022-10-07 cs.RO
Practice Makes Policies: Bootstrapping and Consolidating Robotic Capabilities from Zero Human Demonstrations
本研究提出HERO自改进层级具身智能体,通过整合启发式推理等技术,实现机器人从零人类演示自主演进操作能力,减少数据收集人工干预并提升多样化任务操作稳健性。
2026-07-30 cs.RO
ArmnetBench v0.1: Parallel Real-World Evaluation of Manipulation Policies on a Low-Cost Arm Farm
研究针对通用机器人操作策略开发中实际评估的瓶颈问题,引入ArmnetBench v0.1基准测试,在低成本机械臂集群上对7种策略进行评估,涵盖12项任务,通过大量演示训练策略,发布核心情节数据,支持下游学习并给出排行榜比较结果。
2026-07-28 cs.RO
Bi-HIL: Bilateral Control-Based Multimodal Hierarchical Imitation Learning via Subtask-Level Progress Rate and Keyframe Memory for Long-Horizon Contact-Rich Robotic Manipulation
The University of Osaka(大阪大学);Kobe University(神户大学)
本文提出Bi-HIL框架,通过子任务级进度率和关键帧记忆实现长时程接触丰富机械臂操作的稳定分层协调,验证了显式建模子任务进展与力感知控制的重要性。
2026-03-26 cs.RO
Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation
针对现有VLA模型扁平策略难以处理长时程操作的问题,提出HiRoC分层后训练框架,通过解耦规划与执行并对齐分布,在机器人操作基准上取得优于强基线的性能。
2026-08-07 cs.RO
HiMaCon: Discovering Hierarchical Manipulation Concepts from Unlabeled Multi-Modal Data
HKU Musketeers Foundation Institute of Data Science(香港大学数据科学学院);The University of Hong Kong(香港大学);DAMO Academy(达摩院);Alibaba Group(阿里巴巴集团)
HiMaCon提出一种自监督框架,利用跨模态相关性和多时间尺度预测从无标签数据中学习分层操作概念,无需人工标注即可提升机器人在复杂场景中的泛化性能。
2025-11-06 cs.RO
Towards Online Safety Corrections for Robotic Manipulation Policies
U.S. Naval Research Laboratory(美国海军研究实验室)
针对强化学习机器人控制器在执行时遇新障碍物易碰撞的安全问题,提出iKinQP-RL混合方法,用逆运动学二次规划控制器在线校正RL策略动作,实验证明其可在高任务成功率下完全消除新障碍物碰撞。
2024-09-12 cs.RO
EBench: Elemental Diagnosis of Generalist Mobile Manipulation Policies
Shanghai AI Laboratory(上海人工智能实验室);Xi’an Jiaotong University(西安交通大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
提出EBench基准,从5个能力和4个泛化维度诊断通用移动操作模型,揭示不同模型在成功率相近时能力差异显著。
2026-09-11 cs.RO
LAGO Policy: Latency-Aware Asynchronous Diffusion Policies with Goal-Directed Collision-Free Planning for Smooth Manipulation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));International Digital Economy Academy(国际数字经济学院);The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
提出LAGO策略,通过延迟感知条件引导和时空轨迹优化,解决异步扩散策略的间断和碰撞问题,实现平滑安全的操作。
2026-06-17 cs.RO
Preferenced Oracle Guided Multi-mode Policies for Dynamic Bipedal Loco-Manipulation
Dynamic Robotics and Control Laboratory, University of Southern California(动态机器人与控制实验室,南加州大学)
提出偏好引导预言机多模式策略(OGMP),通过混合自动机预言机和偏好奖励,学习单一策略实现动态双足移动操作,在足球和搬箱任务中验证了跨形态的全身控制能力。
2025-10-08 cs.RO
Cascade Attribute Network: Decomposing Reinforcement Learning Control Policies using Hierarchical Neural Networks
University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校)
强化学习方法已经被开发,以在各种自动化任务中训练控制策略方面取得巨大成功。然而,强化学习在实际自动化中更广泛应用的一个主要挑战是训练过程很难,并且预训练的策略网络在其他类似情况下很难重用。为了解决这个问题,我们提出了级联属性网络(CAN),它利用其层次结构来分解一个复杂的控制策略的要求约束,我们称之为属性,编码在控制任务。我们验证了我们所提出的方法的有效性,在两个机器人控制方案与各种附加属性。对于某些具有多个附加属性属性的控制任务,通过直接级联组装属性模块,CAN可以以zero-shot方式提供理想的控制策略。
2020-05-07 cs.RO
STDArm: Transferring Visuomotor Policies From Static Data Training to Dynamic Robot Manipulation
University of Science and Technology of China(中国科学技术大学)
提出STDArm系统,通过包含动作管理器、轻量级预测网络稳定器和在线延迟估计模块的实时动作校正框架,将静态训练的视觉运动策略直接迁移至动态机器人平台,实现厘米级移动操作精度。
2025-04-26 cs.RO
HANDO: Hierarchical Autonomous Navigation and Dexterous Omni-loco-manipulation
Shanghai Huawei Technologies Co., Ltd.(上海华为技术有限公司)
提出HANDO两层框架,结合目标条件化自主探索策略与统一全身移动操作策略,使配备机械臂的有腿机器人在非结构化环境中实现以人为中心的导航与精确交互操作。
2025-10-10 cs.RO
3D Dynamics-Aware Manipulation: Endowing Manipulation Policies with 3D Foresight
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));JAKA Robotics Co., Ltd.(JAKA机器人有限公司)
本文提出一种融合3D世界建模与策略学习的框架,通过引入三个自监督任务提升操控策略的3D前瞻性,实验表明在仿真和现实环境中显著提升操控性能。
2026-03-26 cs.CV cs.RO
HiWET: Hierarchical World-Frame End-Effector Tracking for Long-Horizon Humanoid Loco-Manipulation
HiWET通过分层强化学习框架实现世界框架下的精确末端跟踪,结合运动学流形先验提升人形机器人长周期运动与操作的稳定性与精度。
2026-02-06 cs.RO
Hierarchical Optimization-based Control for Whole-body Loco-manipulation of Heavy Objects
University of Southern California(南加州大学)
本文提出一种基于分层优化的腿式机器人全身移动操作框架,通过在线规划操作力与轨迹、位姿优化及线性MPC控制,实现重物搬运与门操作,验证了全身优化的必要性。
2024-03-19 cs.RO
Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
Purdue University(普渡大学);Istituto Italiano di Tecnologia(意大利技术研究院);Columbia University(哥伦比亚大学)
本文提出一种具有层次结构的触觉感知运动-操作策略学习框架,通过真实世界示范训练触觉条件的视觉-触觉高层策略,并结合大规模模拟强化学习学习能追踪多样指令轨迹和触觉交互的全身控制策略,提升接触丰富场景下的协调运动与操作性能。
2026-07-14 cs.RO
UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data
University of Science and Technology of China(中国科学技术大学)
提出UMI-Bench 1.0,首个专为UMI风格操作策略设计的真实机器人基准,通过统一协议实现数据收集、场景重置、策略执行、结果记录和任务因素分析,提供可复现的评估平台。
2026-06-09 cs.RO
FetchMan: Learning Visual Humanoid Loco-Manipulation Policies from Simulated Experiences
University of California, Los Angeles(加州大学洛杉矶分校);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
该研究提出 FetchMan,通过端到端 sim-to-real 流水线训练人形机器人视觉移动操作策略,在 FetchMan-Bench 评估中,其单物体抓取策略在 Unitree G1 上零样本部署成功率达73.3%,并扩展至多物体训练。
2026-09-01 cs.RO
Hierarchical Planning for Long-Horizon Manipulation with Geometric and Symbolic Scene Graphs
NVIDIA(英伟达);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个视觉接地的层次规划算法的长期地平线的操作任务。我们的算法提供了一个联合框架的神经符号的任务规划和低层次的运动生成的条件下指定的目标。我们的方法的核心是一个两级场景图表示,即几何场景图和符号场景图。这种分层表示作为一个结构化的,以对象为中心的抽象操作场景。我们的模型使用图神经网络来处理这些场景图,以预测高级任务计划和低级动作。我们证明了我们的方法可以扩展到长期任务,并很好地推广到新的任务目标。我们验证了我们的方法在厨房存储任务中的物理模拟和现实世界。我们的实验表明,我们的方法实现了超过70%的成功率和近90%的子目标完成率在真实的机器人,而四个数量级的计算时间比标准的基于搜索的任务和运动规划。
2021-03-30 cs.RO
Hierarchical Adaptive Loco-manipulation Control for Quadruped Robots
University of Southern California(南加州大学)
足式机器人在不平坦地形的导航中显示出显著的优势。然而,在四足机器人上实现有效的运动和操纵任务仍然具有挑战性。此外,对象和地形参数通常是未知的机器人在这些问题。因此,本文提出了一种分层自适应控制框架,使足式机器人执行本地操作任务,而无需任何给定的假设对象的质量,摩擦系数,或地形的坡度。在我们的方法中,我们首先提出了一个自适应操纵控制来调节接触力,以操纵未知地形上的未知物体。然后,我们介绍了一个统一的模型预测控制(MPC)的本地操作,考虑到我们的机器人动力学的操纵力。因此,建议MPC框架可以有效地调节机器人和物体之间的相互作用力,同时保持机器人的平衡。我们所提出的方法的实验验证成功地进行了Unitree A1机器人,允许它操纵一个未知的时变负载$7$ $kg$($60\%$的机器人的重量)。此外,我们的框架能够快速适应未知的斜率(高达$20^\circ$)或具有不同摩擦系数的不同表面。
2023-03-11 cs.RO
Goal-Aware Generative Adversarial Imitation Learning from Imperfect Demonstration for Robotic Cloth Manipulation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
生成对抗模仿学习(GAIL)可以学习策略,而无需从演示中明确定义奖励函数。GAIL有潜力学习以高维观测为输入的策略,例如,图像.通过将GAIL应用于真正的机器人,也许可以获得机器人的日常活动,如洗涤,折叠衣服,烹饪和清洁。然而,人类的示范数据往往是不完美的,由于错误,这降低了性能的政策。我们通过关注以下特征来解决这个问题:1)许多机器人任务都是达到目标的任务,2)在演示数据中标记这些目标状态相对容易。考虑到这些,本文提出了目标感知生成对抗性模仿学习(GA-GAIL),它通过引入第二个参数来区分目标状态,与指示演示数据的第一个参数并行地训练策略。这扩展了一个标准的GAIL框架,通过一个促进实现目标状态的目标状态学习器,即使是从不完美的演示中,也能更稳健地学习理想的策略。此外,GA-GAIL采用熵最大化深度P-网络(EDPN)作为生成器,该生成器在策略更新中同时考虑平滑性和因果熵,以实现来自两个鉴别器的稳定策略学习。我们所提出的方法被成功地应用到两个真正的机器人布料操作任务:把手帕和折叠衣服。我们证实,它学习布料操纵政策没有特定任务的奖励功能设计。真实实验的视频可在https://youtu.be/h_nII2ooUrE上获得。
2022-09-21 cs.RO
RoboSpan: Learning Modular Coordination Policies for High-DoF Whole-Body Mobile Manipulation with Teleoperation
Jiangnan University(江南大学);Linkerbot Beijing Technology Co., Ltd.(北京灵犀机器人科技有限公司)
本文提出 RoboSpan 平台及 HMF 框架,通过解耦动作空间、引入 COMET 与分层任务分解等方法,使 29 自由度全身移动操作任务成功率超主流基线 20%,提升了接触操作的稳定性与鲁棒性。
2026-10-15 cs.RO
AdaTempo: Learning Shared Relative Tempo from Demonstrations for Faster Robot Manipulation
Fudan University(复旦大学);Tsinghua University(清华大学)
AdaTempo通过自监督学习示范中的共享相对节奏,加速视觉运动策略,实现高达3.57倍速度提升并改善成功-速度权衡。
2026-10-05 cs.RO
Hierarchical Adaptive Motion Planning with Nonlinear Model Predictive Control for Safety-Critical Collaborative Loco-Manipulation
提出一种基于非线性模型预测控制和控制障碍函数的四足机器人团队分层协同移动操作控制系统,实现复杂动态环境下的安全自适应规划与操作,并通过仿真和硬件实验验证。
2024-11-16 cs.RO
MotionTrans: Human VR Data Enable Motion-Level Learning for Robotic Manipulation Policies
Institute for Interdisciplinary Information Sciences(交叉信息学院);Shanghai Qi Zhi Institute(上海启智研究所);State Key Laboratory of Multimedia Information Processing School of Computer Science(多媒体信息处理国家重点实验室计算机科学学院);Shanghai Jiao Tong University(上海交通大学);Wuhan University(武汉大学)
本文提出MotionTrans框架,通过多任务人机协同训练将人类VR数据中的运动直接迁移到机器人策略,实现13个任务的运动级迁移(9个零样本成功),并揭示了协同训练与运动覆盖的关键作用。
2025-09-22 cs.RO
Test-Time Adaptation of Manipulation Policies Under Actuator Degradation
Arizona State University(亚利桑那州立大学)
针对执行器退化导致动作失真的问题,提出遥测感知动作修正(TeAR),利用机载遥测数据修正冻结策略的输出动作,在18个策略-任务对及物理机械臂上显著提升成功率。
2026-09-30 cs.RO
Embodying Multi-Hand Manipulation Policies by Searching the Assignment and Null Spaces
研究多臂机器人执行操作策略的问题,基于冲突搜索构建框架,通过搜索轨迹分配空间和零空间,统一处理分配与零空间运动,有效解决多手操作策略执行难题,实现多臂机器人协调操作。
2026-07-27 cs.RO