Bridging Zero-shot Object Navigation and Foundation Models through Pixel-Guided Navigation Skill
Southeast University(东南大学);Peking University(北京大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出像素引导导航技能PixNav,以像素为目标规范将基础模型与具身导航任务桥接,并结合LLM规划器实现长时程物体导航,在模拟和真实环境中验证了有效性。
2023-09-21 cs.RO
SkillNav: Score-Level Skill Intervention for Zero-Shot Object Goal Navigation
D-Robotics(D-机器人公司);HAI Center, University of Technology Sydney(悉尼科技大学HAI中心);School of Computer Science, Wuhan University(武汉大学计算机科学学院)
研究针对VLM智能体零样本对象目标导航存在的问题,提出SkillNav框架,通过分层技能设计及双表示设计,无需训练,在多个数据集上提升成功率,建立新最优成绩。
2026-07-20 cs.RO
Interactive Semantic Map Representation for Skill-based Visual Object Navigation
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute(人工智能研究院);Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院联邦计算机科学与控制研究中心)
针对移动机器人视觉目标导航任务,提出一种交互构建的场景语义地图表示,集成到SkillTron导航方法中,在Habitat环境中实验验证其导航性能优于现有最优方法。
2023-11-07 cs.CV cs.RO
CANINE: Coaching Visually Impaired Users for Interactive Navigation with a Robot Guide Dog
School of Computing(computing 学院);Smart Systems Institute(智能系统研究所)
本文提出CANINE系统,通过个性化适应性语音反馈帮助视觉障碍者学习与机器人导盲犬的交互导航,通过分解复杂协调任务并分层训练提升学习效率和最终导航性能。
2026-05-19 cs.AI cs.RO
Optimal Navigation Functions for Nonlinear Stochastic Systems
Caltech(加州理工学院)
本文提出了一种新的方法,工艺导航功能的非线性系统的随机不确定性。该方法依赖于将Hamilton-Jacobi-Bellman(HJB)方程转化为线性偏微分方程。这种方法允许将最优性准则纳入导航功能,并推广了导航功能中的几个现有结果。结果表明,HJB和现有的导航功能,在文献中坐在一个频谱的优化问题的两端,在此基础上权衡问题的复杂性。特别是,它表明,在一定的标准下,最佳的导航功能有关的拉普拉斯方程,以前在文献中使用的,通过指数变换。此外,HJB的解析解在简化的域中可用,从而为逼近方案的最优性提供指导。例子被用来说明的作用,噪声和最优性可能在导航系统设计中发挥作用。
2014-09-21 cs.RO
Learning Navigation Skills for Legged Robots with Learned Robot Embeddings
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
最近的工作已经显示出在模拟中学习理想化圆柱体代理的导航策略并将其转移到真正的轮式机器人上的结果。在足式机器人上部署这样的导航策略可能是具有挑战性的,因为它们的复杂动力学,以及圆柱代理和腿式系统之间的大的动力学差异。在这项工作中,我们学习分层导航政策,占低层次的动态足式机器人,如最大速度,滑动,接触,并学会成功地导航杂乱的室内环境。为了将在模拟中学习的策略转移到新的足式机器人和硬件上,我们学习了具有机器人特定嵌入的多个机器人之间的动态感知导航策略。学习的嵌入在新机器人上进行优化,而策略的其余部分保持固定,允许快速适应。我们在模拟中对三个足式机器人进行策略训练--两个四足机器人(A1,AlienGo)和一个六足机器人(Daisy)。在测试时,我们研究了我们的学习策略的性能在两个新的足式机器人在模拟(莱卡戈,4腿雏菊),和一个现实世界的四足机器人(A1)。我们的实验表明,我们的学习策略可以样本有效地推广到以前看不见的机器人,并使足式机器人的导航策略的仿真到现实迁移。
2021-09-13 cs.RO
CoINS: Counterfactual Interactive Navigation via Skill-Aware VLM
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院);Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong(香港中文大学机械与自动化工程系);College of Design and Engineering, National University Of Singapore(新加坡国立大学设计与工程学院);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系)
CoINS通过整合技能感知推理与稳健执行,提升机器人在复杂环境中的交互导航能力。
2026-01-07 cs.RO
Landmark Policy Optimization for Object Navigation Task
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute(人工智能研究所)
本文研究对象目标导航任务,即在未知环境中导航到与给定语义类别相关的最近对象。最近的工作在端到端的强化学习方法和模块化系统方面都取得了显着的成就,但需要向前迈出一大步才能达到鲁棒性和最佳性。我们提出了一个层次化的方法,结合标准的任务制定和额外的领域知识的地标,与方法来提取这些地标。在层次结构中,低级别由单独训练的算法组成,这些算法用于最直观的技能,而高级别决定此时需要哪些技能。所有提出的解决方案,我们实现了0.75的成功率在一个现实的人居模拟器。在模拟器上重建的虚拟区域中进行了一个小阶段的额外模型训练后,我们成功地在现实世界的案例中证实了我们的结果。
2021-09-17 cs.AI cs.RO
LLM-Based Agentic Exploration for Robot Navigation & Manipulation with Skill Orchestration
本文提出基于大语言模型的代理探索系统,用于机器人导航与操作,通过技能编排实现端到端任务执行。
2026-01-02 cs.RO
Multi-skill Mobile Manipulation for Object Rearrangement
UC San Diego(加州大学圣地亚哥分校);Meta AI Research(Meta人工智能研究院);UC Berkeley(加州大学伯克利分校)
我们研究了一种模块化的方法来解决对象重排的长视野移动操作任务,它将一个完整的任务分解成一系列的子任务。为了解决整个任务,以前的工作链多个固定的操作技能与点目标导航技能,这是单独学习的子任务。虽然比单一的端到端RL策略更有效,但该框架在技能链中存在复合错误,例如,导航到固定操纵技能不能到达其目标进行操纵的不良位置。为此,我们建议,操作技能应包括流动性,具有灵活性,从多个位置与目标对象进行交互,同时导航技能可以有多个端点,导致成功的操作。我们通过实施移动操作技能,而不是固定的和训练的导航技能训练区域目标,而不是点目标,这些想法可操作。我们评估了我们的多技能移动操作方法M3在3个具有挑战性的长期移动操作任务的家庭助理基准(HAB),并显示出优越的性能相比,基线。
2022-09-06 cs.LG cs.RO
Dimension-variable Mapless Navigation with Deep Reinforcement Learning
National University of Singapore(新加坡国立大学);Advanced Remanufacturing and Technology Centre(先进再制造与技术中心);Zhejiang University(浙江大学)
针对深度强化学习训练的导航智能体受固定机器人尺寸限制的问题,提出含可变尺寸技能迁移(DVST)的方法,通过元智能体训练与观测、策略缩放实现跨尺寸迁移,无需重训练即可让不同尺寸机器人在未知动态环境导航,拓展了DRL导航方法的适用性。
2023-06-12 cs.RO
Sparse Interacting Gaussian Processes: Efficiency and Optimality Theorems of Autonomous Crowd Navigation
Galois, Inc.(Galois公司)
我们研究了人群导航的稀疏性和最优性属性,发现现有的技术不能同时满足这两个标准:要么他们实现了最优性与禁止数量的样本或易处理的假设使他们脆弱的灾难。例如,如果人类和机器人是独立建模的,那么就可以实现易处理性,但规划者容易过于谨慎或过于激进的行为。对于基于采样的联合人类-机器人成本函数的运动规划,对于$n_t$代理和$T$步骤前瞻,需要$\mathcal O(2^{2n_t T})$样本来覆盖动作空间。先进的方法静态划分的行动空间到自由空间,然后在这些凸区域采样。然而,如果人类将\emph{moving}插入自由空间,那么分区是误导性的,采样是不安全的:自由空间很快就会被占用。我们诊断这些缺陷的原因--优化发生在\emph{trajectory}空间--并提出了一种新的解决方案:优化轨迹\emph{distribution}空间使用高斯过程(GP)的基础。我们利用“内核技巧”的GPS,连续的轨迹捕获的均值和协方差函数。通过使用平均值和协方差作为轨迹族的代理,我们可以推断集体轨迹行为,而无需采取采样。GP的基础是稀疏和最佳的碰撞避免和机器人和人群的意图和灵活性。GP稀疏性在很大程度上依赖于联合动作空间分解为自由区域的洞察力;然而,只有当分区是动态生成的时,分解才包含可行解。我们称这种方法为\emph{$\mathcal O(2^{n_t})$-sparse interacting Gau…
2017-05-10 cs.RO
Behavioral Analysis of Vision-and-Language Navigation Agents
Oregon State University(俄勒冈州立大学);Georgia Institute of Technology(佐治亚理工学院)
该研究提出一种按特定技能分析视觉与语言导航智能体行为的方法,通过生成技能干预并衡量预测变化,发现训练偏差对智能体行为有长期影响,且技能得分与任务整体性能提升相关。
2023-07-20 cs.CV cs.RO
Learning Skills to Navigate without a Master: A Sequential Multi-Policy Reinforcement Learning Algorithm
Indian Institute of Science(印度科学学院)
使用强化学习解决复杂问题需要将问题分解为可管理的任务和学习策略来解决这些任务。反过来,这些策略必须由执行高层决策的主策略控制。因此,学习策略涉及分层决策结构。然而,在实践中训练这样的方法可能会导致泛化能力差,子策略执行动作的时间步长太少,或者完全退化为单个策略。在我们的工作中,我们引入了一种替代方法来顺序学习这些技能,而不使用一个总体的分层政策。我们提出这种方法的环境中,学习代理的目标的一个主要组成部分是尽可能长时间地延长发作。我们把我们提出的方法称为序贯软期权批判。我们展示了我们的方法在我们开发的灵活的模拟3D导航环境中的导航和基于目标的任务的实用性。我们还表明,我们的方法在各种环境中的性能优于先前的方法,如Soft Actor-Critic和Soft Option Critic,包括Atari River Raid环境和Gym-Duckietown自动驾驶汽车模拟器。
2022-08-07 cs.AI cs.RO
AINav: Large Language Model-Based Adaptive Interactive Navigation
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院);AI Institute, School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院人工智能研究所)
AINav通过基于大语言模型的自适应交互导航方法,实现复杂环境中的路径规划与目标达成。
2025-12-31 cs.AI cs.RO
Generation of skill-specific maps from graph world models for robotic systems
Eindhoven University of Technology(埃因霍温理工大学)
针对异构机器人难以共享SLAM地图的问题,提出基于BIM构建图世界模型,并依据机器人技能查询生成技能特定定位与导航地图。
2024-02-28 cs.RO
Deep Learning for Embodied Vision Navigation: A Survey
Monash University(莫纳什大学);University of Chinese Academy of Sciences(中国科学院大学);Sun Yat-sen University(中山大学);RMIT University(皇家墨尔本理工大学)
“虚拟视觉导航”问题要求智能体主要依靠第一人称观察在三维环境中进行导航。近年来,由于其在自动驾驶、真空吸尘器和救援机器人中的广泛应用,该问题引起了越来越多的关注。导航Agent应该具有视觉感知、地图绘制、规划、探索和推理等多种智能技能,构建一个能够观察、思考和行动的Agent是实现真正智能的关键。深度学习方法的显著学习能力使智能体能够完成具体的视觉导航任务。尽管如此,体现视觉导航仍然处于起步阶段,因为需要很多先进的技能,包括感知部分观察到的视觉输入,探索看不见的区域,记忆和建模看到的场景,理解跨模态指令,适应新的环境等。最近,体现视觉导航已经引起了社会的关注,并提出了许多工作来学习这些技能。本文试图通过提供一个全面的文献调查,建立一个轮廓,目前的作品在该领域的体现视觉导航。我们总结了基准和指标,回顾了不同的方法,分析了挑战,并强调了最先进的方法。最后,我们讨论了尚未解决的挑战,体现视觉导航领域,并在追求未来的研究方向。
2021-10-11 cs.CV cs.RO
The Unified Mathematical Framework for IMU Preintegration in Inertial-Aided Navigation System
Wuhan University(武汉大学)
针对惯性辅助导航系统中惯性测量单元(IMU)在不同运动条件下的不同坐标系下的预积分问题,提出了一种统一的数学框架。导航状态被精确地离散为三个部分:局部增量、全局状态和全局增量。全球增量可以在不同的坐标系下计算,如局部导航坐标系和地心地固坐标系。根据智能体的运动和惯性测量单元的梯度,在不同的假设条件下计算出局部增量,称为惯性测量单元预积分。从而为惯性组合导航系统在不同环境下的在线状态估计提供了更准确、更方便的方法。首次提出了基于左扰动的协方差传播方法,该方法不依赖于陀螺仪和加速度计的输入。最后,我们证明了行列式最优性准则和Rényi熵最优性准则的不确定性的单调性。
2022-08-14 cs.RO
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST(韩国科学技术院);UNIST(蔚山国立科学技术院)
本文提出变分课程强化学习(VCRL)和价值不确定性变分课程(VUVC),将变分赋能重构为目标条件强化学习中的课程学习,以提升无监督技能发现的样本效率与状态覆盖速度,并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
What does really matter in image goal navigation?
NAVER LABS Europe(NAVER欧洲实验室)
本文研究图像目标导航中通过端到端强化学习训练智能体的可行性,并探讨了建筑选择对相对位姿估计器产生和导航性能的影响。
2026-02-03 cs.CV cs.RO
Advanced Skills by Learning Locomotion and Local Navigation End-to-End
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达)
足式机器人在具有挑战性的环境中进行局部导航的常用方法需要路径规划、路径跟随和运动,这通常需要精确跟踪命令速度的运动控制策略。然而,通过将导航问题分解为这些子任务,我们限制了机器人的能力,因为单个任务不考虑完整的解决方案空间。在这项工作中,我们提出通过使用深度强化学习训练端到端策略来解决完整的问题。机器人需要在规定的时间内到达目标位置,而不是连续跟踪预先计算的路径。任务的成功仅在事件结束时进行评估,这意味着策略不需要尽可能快地达到目标。它可以自由选择自己的路径和运动步态。以这种方式训练策略会打开一个更大的可能解决方案集,这允许机器人学习更复杂的行为。我们比较了我们的速度跟踪方法,并表明任务奖励的时间依赖性对于成功学习这些新行为至关重要。最后,我们展示了一个真正的四足机器人的政策的成功部署。该机器人能够穿越具有挑战性的地形,这在以前是不可能的,同时使用更节能的步态并实现更高的成功率。
2022-09-26 cs.LG cs.RO
Multi-Object Navigation in real environments using hybrid policies
Naver Labs Europe(Naver欧洲实验室);Université de Lyon, INSA-Lyon, LIRIS(里昂大学,INSA-里昂,LIRIS)
针对 Multi-ON 任务的 sim2real 迁移难题,提出结合经典 SLAM、符号规划与深度神经网络的混合导航策略,并在仿真和真实环境中超越端到端 SOTA。
2024-01-24 cs.AI cs.RO
Exploration by Learning Diverse Skills through Successor State Measures
ISAE-Supaero(法国高等航空航天学院);Airbus(空中客车公司);Université de Toulouse(图卢兹大学)
本文提出 LEADS,利用后继状态度量最大化不同技能条件策略的状态分布差异,从而无奖励地学习覆盖状态空间的多样技能,并提升探索效率。
2024-06-14 cs.AI cs.RO
ANYmal Parkour: Learning Agile Navigation for Quadrupedal Robots
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达)
提出一种全学习的四足机器人敏捷导航方法,通过分层策略组合多种运动技能与感知模块,无需专家演示或先验知识即可在真实世界跨越复杂障碍。
2023-06-26 cs.RO
Robot Perception enables Complex Navigation Behavior via Self-Supervised Learning
Queensland University of Technology(昆士兰科技大学)
学习机器人系统中的视觉控制策略是实现长期行为自主性的一个基本问题。然而,最近的监督学习为基础的视觉和运动感知系统,往往是单独建立有限的能力,而被限制到一些行为技能,如被动视觉里程计(VO)或移动机器人视觉定位。在这里,我们提出了一种方法来统一这些成功的机器人感知系统的主动目标驱动的导航任务,通过强化学习(RL)。我们的方法在时间上结合了紧凑的运动和视觉感知数据(使用自我监督从单个图像序列直接获得),以实现复杂的目标导向导航技能。我们使用新的交互式CityLearn框架在两个真实驾驶数据集KITTI和Oxford RobotCar上展示了我们的方法。结果表明,我们的方法可以准确地推广到极端的环境变化,如昼夜周期,成功率高达80%,而仅视觉导航系统的成功率为30%。
2020-06-16 cs.LG cs.RO
FloAff-Kitchen: Bridging Navigation and Manipulation via Canonical and Progressive Floor Affordance Learning
研究针对移动操作中FloAff预测难题,提出含规范表示学习和渐进式可供性先验学习的统一框架,引入CFAR和PFAL,建立FloAff-Kitchen基准,实验证明该方法优于基线,验证了组件贡献。
2026-07-28 cs.RO
Towards Autonomous Pipeline Inspection with Hierarchical Reinforcement Learning
University of Twente(特文特大学);Jönköping University(延雪平大学)
检测和维护是工业管道设备的两个关键方面。虽然机器人技术在管道检测机器人的机械设计方面取得了巨大的进步,但由于执行器数量多和所需的复杂操纵,这种机器人的自主控制仍然是一个巨大的挑战。为了解决这个问题,我们研究了深度强化学习的使用,以实现复杂拓扑结构的管道网络中的管道机器人的自主导航。此外,我们引入了一个分层的策略分解的基础上分层强化学习学习强大的高层次的导航技能。我们表明,在政策中引入的层次结构是通过管道解决导航任务的基础,实现导航性能优于人类水平的控制是必要的。
2021-07-08 cs.AI cs.RO
Hierarchical Quality-Diversity for Online Damage Recovery
Imperial College London(伦敦帝国理工学院);University of Patras(帕特雷大学)
适应能力,如损伤恢复,对于在复杂环境中部署机器人至关重要。一些研究已经证明,使用预先训练的技能可以使机器人在几分钟内适应不可预见的机械损伤。这些适应能力直接关系到剧目的行为多样性。机器人执行技能的选择越多,它适应新情况的机会就越大。然而,解决复杂的任务,如迷宫导航,通常需要多种不同的技能。为这些多种技能找到大量的行为多样性往往会导致所需解决方案的数量呈指数级增长。在本文中,我们介绍了分层试错算法,该算法使用分层行为库来学习不同的技能,并利用它们使机器人更适应不同的情况。我们表明,技能的层次分解,使机器人能够学习更复杂的行为,同时保持学习的曲目易于处理。与六足机器人的实验表明,我们的方法解决迷宫导航任务,在最具挑战性的情况下,比最佳基线少20%的行动,同时有57%的完全失败。
2022-04-12 cs.AI cs.LG cs.NE
Multiple Waypoint Navigation in Unknown Indoor Environments
IIT Kharagpur(印度理工学院卡拉格普尔分校)
室内运动规划的重点是解决通过杂乱的环境导航代理的问题。到目前为止,在这一领域已经做了大量的工作,但这些方法往往无法找到计算成本低的在线路径规划和路径的最优性之间的最佳平衡。与此同时,这些工作往往证明单起点单目标世界的最优性。为了解决这些挑战,我们提出了一个多路点路径规划器和控制器堆栈导航在未知的室内环境中,路点包括的目标以及中间点,机器人必须遍历之前达到的目标。我们的方法利用了一个全局规划器(在任何时刻找到下一个最佳航点),一个本地规划器(规划到特定航点的路径),和一个自适应模型预测控制策略(鲁棒系统控制和更快的机动)。我们评估我们的算法上的一组随机生成的障碍地图,中间航路点,和启动目标对,结果表明,显着降低计算成本,高精度和鲁棒控制。
2022-09-18 cs.RO
Learning Multi-Skill Legged Locomotion Using Conditional Adversarial Motion Priors
School of Mechanical Engineering, Zhejiang Sci-Tech University(浙江科技学院机械工程学院)
提出基于条件对抗运动先验的多技能学习框架,使四足机器人从专家演示中高效获取多样化运动技能,并通过技能判别器和条件奖励实现精确重建与平滑切换。
2025-09-26 cs.RO
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research(伯克利人工智能研究所)
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习,但实际上,现实世界中的强化学习具有挑战性,并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统,用于在没有人为干预的情况下,以自主的方式一起学习导航和操作,从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习,无需任何环境仪器,无需人为干预,也无需访问特权信息,例如地图,对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航,操纵政策的不确定性驱动器的导航控制器的探索,和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务,机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后,ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
Human-like Navigation in a World Built for Humans
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
ReasonNav利用视觉语言模型的推理能力,通过阅读标志和询问方向等类人行为,在大型复杂建筑中实现高效导航。
2025-09-25 cs.AI cs.CV cs.RO
SayCoNav: Utilizing Large Language Models for Adaptive Collaboration in Decentralized Multi-Robot Navigation
SRI International(SRI国际研究院);Meta
针对多机器人在未知环境中导航的自适应协作需求,提出SayCoNav方法,借助大语言模型生成协作策略与去中心化规划,经MultiON任务验证,最多可提升异构机器人搜索效率44.28%,且能动态适配任务变化。
2025-05-19 cs.AI cs.RO
C3A: A Cognitive Collaborative Control Architecture For an Intelligent Wheelchair
Tezpur University(泰兹普尔大学)
对于部分丧失认知或身体能力的人来说,保留剩余技能至关重要。研究工作的重点是制定制度,为保留这些剩余技能提供基于需要的援助。本文介绍了一种新的认知协同控制架构C3A,旨在解决发展基于需求的援助轮椅导航的挑战。组织C3A的详细说明,并从模拟结果的建议架构。为了模拟我们提出的架构,我们使用ROS(机器人操作系统)作为一个控制框架和一个3D机器人模拟器称为USARSim(统一系统自动化和机器人仿真)。
2017-01-30 cs.AI cs.RO
SoLo T-DIRL: Socially-Aware Dynamic Local Planner based on Trajectory-Ranked Deep Inverse Reinforcement Learning
University of Michigan(密歇根大学)
这项工作提出了一个新的框架,社会意识的动态本地规划在拥挤的环境中建立在最近提出的轨迹排名最大熵深度逆强化学习(T-MEDIRL)。为了解决社交导航问题,我们的多模态学习规划器明确地将社交互动因素以及社交意识因素考虑到T-MEDIRL管道中,以从人类演示中学习奖励函数。此外,我们提出了一种新的轨迹排名分数使用周围的机器人行人的突然速度变化,以解决次优人类示范。我们的评估表明,该方法可以成功地使机器人在拥挤的社会环境中导航,并在成功率,导航时间和入侵率方面优于最先进的社会导航方法。
2022-09-16 cs.AI cs.RO
Motion Priors Reimagined: Adapting Flat-Terrain Skills for Complex Quadruped Mobility
Department of Mechanical Engineering, EPFL(瑞士联邦理工学院机械工程系);ETH AI Center, ETH Zurich(苏黎世联邦理工学院人工智能中心);Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室)
本文提出分层强化学习框架,先用平地动物动作模仿预训练低层策略形成运动先验,再由高层策略学习残差校正,使四足机器人在复杂崎岖地形中实现感知行走、避障与目标导航。
2025-08-29 cs.RO
LISA: Learning Interpretable Skill Abstractions from Language
Stanford University(斯坦福大学)
在复杂的多任务环境中有效利用语言指令的学习策略是顺序决策中的一个重要问题。虽然可以直接以整个语言教学为条件,但这种方法可能会出现泛化问题。在我们的工作中,我们提出了\emph{Learning Interpretable Skill Abstractions (LISA)},一个分层的模仿学习框架,可以学习不同的,可解释的原始行为或技能,从语言条件的演示,以更好地推广到看不见的指令。LISA使用矢量量化来学习与语言指令和学习策略的行为高度相关的离散技能代码。在导航和机器人操作环境中,LISA在低数据状态下优于强大的非分层决策Transformer基线,并且能够组合学习的技能来解决包含看不见的远程指令的任务。我们的方法展示了一种更自然的方式来处理顺序决策问题中的语言条件,并通过学习到的技能实现可解释和可控制的行为。
2022-12-06 cs.AI cs.CL cs.LG
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California(南加州大学)
演示引导的强化学习(RL)是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题,并试图一步一步地遵循所提供的演示,类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然,这种学习会很慢,但通常新行为并不是完全看不见的:它们与我们以前学到的行为共享子任务。在这项工作中,我们的目标是利用这种共享的子任务结构,以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后,我们提出了基于技能的学习与演示(SkiLD),演示引导RL的算法,有效地利用提供的演示,通过以下演示的技能,而不是原始的动作,从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Dynamics-Aware Quality-Diversity for Efficient Learning of Skill Repertoires
Imperial College London(帝国理工学院)
质量多样性(QD)算法是一种功能强大的探索算法,允许机器人发现大量多样化和高性能技能。然而,QD算法是样本效率低的,需要数百万次评估。在本文中,我们提出了动态感知质量多样性(DA-QD),一个框架,以提高样本效率的QD算法,通过使用动力学模型。我们还展示了如何DA-QD,然后可以用于不断收购新的技能剧目。为此,我们根据使用QD执行技能发现时获得的经验,递增地训练深度动力学模型。然后,我们可以用想象的技能库在想象中进行QD探索。我们评估我们的方法对三个机器人实验。首先,我们的实验表明,DA-QD比现有的QD方法的样本效率高20倍。其次,我们展示了学习一个全新的技能剧目在想象力执行零样本学习。最后,我们展示了DA-QD是如何有用和有效地解决一个长期的地平线导航任务,并在现实世界中的损害适应。视频和源代码可在https://sites.google.com/view/da-qd上获得。
2021-09-16 cs.AI cs.LG cs.NE
Heterogeneous Coalition Formation and Scheduling with Multi-Skilled Robots
Worcester Polytechnic Institute(伍斯特理工学院)
针对异构多机器人系统中多技能任务调度问题,提出两种集中式算法以形成动态联盟并调度机器人,其中一种保证最优但仅适用于小规模,另一种基于启发式可处理大规模且成本接近最优。
2023-06-20 cs.RO
Beyond Isolation: A Unified Benchmark for General-Purpose Navigation
AutoLab, SAI, Shanghai Jiao Tong University(自动化实验室、上海交通大学);Research Lab, Anyverse Dynamics(Anyverse Dynamics 研究实验室)
本文提出OmniNavBench基准,通过复合复杂性、形态通用性和演示质量三大变革,解决通用导航中跨技能协调与跨形态泛化的问题,揭示现有方法在复杂导航任务中的不足。
2026-05-10 cs.RO
Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation
University of Freiburg(弗莱堡大学)
针对非结构化环境中机器人需结合操作与导航完成多目标搜索的问题,提出分层强化学习方法HIMOS,通过语义地图和高层动作空间组合多类技能,实现零样本环境迁移且鲁棒性优异。
2023-10-19 cs.AI cs.LG cs.RO
CoReLIN: Constraint-based Reasoning for Zero-shot Lifelong Interactive Navigation
Purdue University(普渡大学);Indian Institute of Technology, Kharagpur(印度理工学院卡哈拉格普尔分校);DEVCOM Army Research Lab(DEVCOM陆军研究实验室);National University of Singapore(新加坡国立大学)
提出CoReLIN框架,利用LLM和场景图推理,在终身交互式导航中通过移动物体开辟路径并完成任务,显著提升长期效率。
2026-07-01 cs.AI cs.CV cs.RO
PREVENT: Proactive Risk Evaluation and Vigilant Execution of Tasks for Mobile Robotic Chemists using Multi-Modal Behavior Trees
Department of Chemistry and Material Innovation Factory, University of Liverpool(化学系和材料创新工厂,利物浦大学);Center for Life Science Automation, University of Rostock(生命科学自动化中心,罗斯托克大学)
针对移动机器人化学家缺乏工作流感知导致异常中断的问题,提出基于多模态行为树的PREVENT系统,通过分层感知机制实现高效决策,在模拟风险场景中完全避免误报漏报,并提升部署准确率。
2025-10-24 cs.RO
Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots
School of Future Technology, Shanghai University(上海大学未来技术学院)
本文提出Tree Learning框架,通过参数继承机制和多模态适应机制,实现双足机器人多技能连续学习,避免灾难性遗忘,提升技能切换和交互控制性能。
2026-04-14 cs.RO
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Google Research(谷歌研究院)
强化学习为学习机器人技能提供了一个通用框架,同时最大限度地减少了工程工作量。然而,大多数强化学习算法假设提供了一个精心设计的奖励函数,并为该单个奖励函数学习单个行为。这样的奖励函数在实践中可能难以设计。我们是否可以开发高效的强化学习方法,在没有任何奖励功能的情况下获得各种技能,然后将这些技能重新用于下游任务?在本文中,我们证明了最近提出的无监督技能发现算法可以扩展为一种有效的离线方法,使其适合在现实世界中执行无监督强化学习。首先,我们证明了我们提出的算法在学习效率上有了实质性的提高,使得无奖励的真实世界训练变得可行。其次,我们超越了仿真环境,并在真实的物理硬件上评估算法。在四足动物身上,我们观察到不同步态和不同方向的运动技能出现,没有任何奖励或示范。我们还证明了学习的技能可以组成使用模型预测控制为目标导向的导航,没有任何额外的培训。
2020-04-27 cs.LG cs.RO
Dexterous Legged Locomotion in Confined 3D Spaces with Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);George Mason University(乔治梅森大学);Sony AI(索尼人工智能)
针对受限三维空间中腿式机器人导航难题,提出结合经典规划器与强化学习策略的分层运动控制器,在仿真中性能优于现有方法,且成功实现真机部署。
2024-03-06 cs.LG cs.RO
Online Damage Recovery for Physical Robots with Hierarchical Quality-Diversity
Imperial College London(帝国理工学院);University of Patras(帕特雷大学)
在现实环境中,机器人需要对损坏具有弹性,并对不可预见的情况具有鲁棒性。质量多样性(QD)算法已成功用于通过利用各种学习技能使机器人在几秒钟内适应损害。技能的高度多样性增加了机器人成功克服新情况的机会,因为有更多的潜在替代方案来解决新任务。然而,发现和存储多个技能的大量行为多样性通常会导致计算复杂性的增加。此外,在大的技能空间中进行机器人规划是随着技能数量的增加而出现的额外挑战。层次结构可以通过将技能分解为基本技能来帮助降低搜索和存储的复杂性。在本文中,我们介绍了分层试错算法,该算法使用分层行为库来学习各种技能,并利用它们使机器人在物理世界中快速适应。我们表明,技能的层次分解,使机器人能够学习更复杂的行为,同时保持学习的曲目易于处理。六足机器人的实验表明,我们的方法解决了迷宫导航任务,在模拟中减少了20%的动作,在物理世界中减少了43%的动作,对于最具挑战性的场景,比最佳基线减少了78%的完全失败。
2022-10-18 cs.AI cs.LG cs.NE
Group-Invariant Unsupervised Skill Discovery: Symmetry-aware Skill Representations for Generalizable Behavior
School of Mechanical Engineering, Yonsei University(延世大学机械工程学院);Department of Artificial Intelligence, Yonsei University(延世大学人工智能系);Department of Mechanical Engineering, University of California, Berkeley(加州大学伯克利分校机械工程系)
本文提出群不变性技能发现框架,通过引入群结构和对称感知机制,提升技能在群变换下的泛化能力,实验表明其在运动基准测试中表现更优。
2026-01-20 cs.LG cs.RO
Unified Prediction and Planning via Conflict-Aware Disjoint Parameter Training
DGIST(韩国科学技术院大邱庆北校区);KAIST(韩国科学技术院)
研究社交机器人在拥挤环境中统一预测与规划问题,提出基于模型合并的不相交参数训练框架DPT,通过分布式参数学习减轻技能冲突,稀疏合并提升性能,在标准基准测试中验证其在机器人导航上通用且有效。
2026-08-28 cs.CV cs.RO
Towards Local Minima-free Robotic Navigation: Model Predictive Path Integral Control via Repulsive Potential Augmentation
Keio University(庆应义塾大学);Nagoya University(名古屋大学)
提出一种基于排斥势增强的模型预测路径积分控制运动规划方法,无需全局路径引导即可主动避免局部最小值,在不降低计算效率的同时提升了全局最优性。
2024-11-09 cs.RO
Discuss Before Moving: Visual Language Navigation via Multi-expert Discussions
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Southeast University(东南大学)
本文提出零样本视觉语言导航框架DiscussNav,让导航智能体在每步移动前与多个领域专家讨论指令理解、环境感知和完成度估计,从而超越单轮自我思考方法,在R2R和真实机器人实验中取得显著提升。
2023-09-20 cs.AI cs.CL cs.CV
LTL-Transfer: Skill Transfer for Temporal Task Specification
Brown University(布朗大学)
提出零样本迁移算法LTL-Transfer,通过组合训练中学习的与任务无关的技能,安全满足新颖LTL任务规范,在少量训练后高效解决大量未见任务并部署于四足移动机械臂验证。
2024-08-27 cs.RO
Efficient Autonomous Navigation for Terrestrial Insect-Machine Hybrid Systems
Nanyang Technological University(南洋理工大学);University of Freiburg(弗莱堡大学)
虽然生物启发和仿生系统从生物材料中汲取灵感,但生物混合系统将它们与合成设备结合在一起,允许在单个实体中利用有机和人工优势。在具有挑战性的厘米级移动机器人的发展服务于非结构化的领土导航,生物混合系统出现作为一个潜在的解决方案,在陆地昆虫-机器混合系统的形式,这是活的步行昆虫和微型电子设备的融合。尽管它们的动作可以通过人工电刺激来故意控制,但这些混合系统仍然继承了昆虫出色的运动技能,由复杂的中枢神经系统和各种感觉器官协调,有利于它们在复杂地形中的动作。然而,这些混合系统的有效自主导航是具有挑战性的。为个体昆虫优化刺激参数的努力限制了导航控制的可靠性和准确性。本研究以一只黑甲虫为研究对象,针对一个虫机混合系统,提出一个具有可调导航控制洞察力的反馈控制系统。通过推力控制器的加速度和比例控制器的转向,该系统调整的激励参数的基础上的混合机器人的瞬时状态。虽然该系统可以为路径跟踪导航提供约71%的总体成功率,但微调其控制参数可以进一步提高结果的可靠性和精度,分别高达约94%的成功率和约1/2的体长精度。反馈控制系统的这种可调性能为昆虫-机器混合系统的导航应用提供了灵活性。
2022-11-19 cs.RO