Latency-Tolerant Cloud-Edge Collaborative Vision-Language-Action Models via Emergent Representational Specialization
针对移动机器人VLA部署的时延冲突，提出CloudEdgeVLA云边协同策略，通过表征学习处理时间错位，在LIBERO套件上远优于基线，实现高时延下的高任务成功率。
2026-09-17 cs.AI cs.RO cs.SY
Policy-Guided World Model Planning for Language-Conditioned Visual Navigation
Drexel University（德雷塞尔大学）
本文提出PiJEPA框架，结合学习导航策略与潜在世界模型规划，通过微调Octo策略和冻结预训练视觉编码器，提升语言指导下的视觉导航准确性与指令遵循性。
2026-03-26 cs.AI cs.CL cs.RO
Low-Rank Agent-Specific Adaptation (LoRASA) for Multi-Agent Policy Learning
University of Manchester（曼彻斯特大学）
针对多智能体强化学习中纯参数共享抑制智能体专业化的问题，提出LoRASA方法，通过在共享策略层附加低秩适配矩阵实现参数高效适配，在SMAC和MAMuJoCo基准上匹配或优于基线且降低开销，为MARL策略参数化提供新范式。
2025-02-08 cs.AI cs.LG cs.MA
Policy-Guided Diffusion
University of Oxford（牛津大学）
本文提出策略引导扩散，用扩散模型生成行为分布下的完整轨迹并由目标策略引导，以更低动力学误差产生高目标概率的合成经验，显著提升多种离线强化学习算法性能。
2024-04-09 cs.AI cs.LG cs.RO
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
原则上，强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能，使它们能够在现实世界的复杂性和多样性中发挥作用。然而，训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是，多个机器人可以相互分享经验，从而共同学习策略。在这项工作中，我们探索分布式和异步策略学习作为一种手段，以实现泛化和提高训练时间的挑战性，现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索，并使用它来展示集体策略学习基于视觉的开门任务，使用四个机器人。我们表明，它实现了更好的泛化，利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Guided Policy Search as Approximate Mirror Descent
University of Washington（华盛顿大学）
引导策略搜索算法可用于优化复杂的非线性策略，如深度神经网络，而无需直接计算高维参数空间中的策略梯度。相反，这些方法使用监督学习来训练策略以模仿“教师”算法，例如轨迹优化器或以轨迹为中心的强化学习方法。引导策略搜索方法通过构造提供了渐近局部收敛保证，但不清楚在有限的迭代次数内策略改进了多少。我们表明，指导政策搜索算法可以被解释为一个近似的变形镜像下降，在约束流形上的投影是不准确的。我们推导出一种新的指导策略搜索算法，该算法更简单，并在简化的凸和线性设置中提供了吸引人的改进和收敛保证，并表明在更一般的非线性设置中，投影步骤中的误差可以有界。我们提供了几个模拟机器人导航和操作任务的实证结果，表明我们的方法是稳定的，并实现了类似或更好的性能相比，以前的指导政策搜索方法，具有更简单的制定和更少的超参数。
2016-07-15 cs.LG cs.RO
Guided Policy Optimization under Partial Observability
School of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人学院）；School of Computer Science, Peking University（北京大学计算机科学学院）
本文提出GPO框架，通过联合训练指导器和学习器，在部分可观察环境中实现与直接RL相当的最优性能，有效解决现有方法的局限性。
2026-03-13 cs.AI cs.LG cs.RO
Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning
National University of Defense Technology（国防科技大学）；Shanghai Institute of Microsystem and Information Technology（上海微系统与信息技术研究所）；Chinese Academy of Sciences（中国科学院）；Delft University of Technology（代尔夫特理工大学）
针对离线强化学习中分布外问题导致现有策略正则化方法过度保守的缺陷，提出结合VAE的自适应优势引导策略正则化方法A2PR，理论上保障策略提升，在D4RL等基准上取得最优性能。
2024-07-15 cs.AI cs.LG cs.RO
MPC-Net: A First Principles Guided Policy Search
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种模仿学习方法，用于控制具有已知模型的动态系统。我们的策略搜索方法由MPC的解决方案指导。这种类型的典型策略搜索方法最小化引导示范和学习策略之间的距离度量。然而，我们的损失函数对应于控制哈密顿量的最小化，这是从最优性原理推导出来的。因此，我们的算法直接试图解决的最优性条件与参数化类的控制律。此外，建议的损失函数明确编码的最优控制问题的约束，我们提供了数值证据，其最小化实现了改进的约束满足。我们训练的混合专家神经网络架构控制四足机器人，并表明这种政策结构非常适合这样的多模态系统。学习的政策可以成功地稳定不同的步态在真正的步行机器人从不到10分钟的演示数据。
2020-02-17 cs.LG cs.RO
Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods
School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）；University of Melbourne（墨尔本大学）
本文提出一种基于最优控制值函数的基线，用于深度强化学习策略梯度方法，在策略学习中提供引导探索，并在机器人稀疏奖励任务中验证其有效性。
2024-11-06 cs.AI cs.LG cs.RO
Guided Policy Search with Delayed Sensor Measurements
University of Washington（华盛顿大学）
引导策略搜索是一种用于强化学习的方法，其通过用多个引导分布来引导策略的学习来训练用于完成给定任务的一般策略。引导策略搜索依赖于学习环境的底层动态模型，然后在算法的每次迭代中，使用该模型来逐步改进策略。然而，该模型通常假设环境动态是马尔可夫的，例如，仅取决于当前状态和控制信号。在本文中，我们将引导策略搜索应用到一个非马尔可夫动力学问题。具体来说，我们将其应用于从杯子中倒入碗中的精确量的液体的问题，其中许多传感器测量经历非微不足道的延迟量。我们表明，相对简单的状态增强，引导政策搜索可以扩展到非马尔可夫动力系统，其中的非马尔可夫性是由延迟传感器读数。
2017-09-29 cs.RO
DR-APO: Decoupled-Representation Advantage-Guided Policy Optimization from Continuous Control to Embodied Navigation
DEEP Robotics（深度机器人公司）；Zhejiang University（浙江大学）
DR-APO为高斯、扩散、流匹配策略提供统一优化原则，在MuJoCo任务中具竞争力，NavDP后训练显著提升仿真与真实导航的成功率。
2026-10-14 cs.LG cs.RO
Adversarially Regularized Policy Learning Guided by Trajectory Optimization
Georgia Institute of Technology（佐治亚理工学院）
结合轨迹优化与函数逼近（特别是神经网络）的最新进展显示了在机器人系统中学习用于不同任务的复杂控制策略的前景。尽管它们具有很大的灵活性，但用于参数化控制策略的大型神经网络带来了重大挑战。学习的神经控制策略往往过于复杂和非光滑，这很容易导致意外或发散的机器人运动。因此，它们在实践中往往产生较差的泛化性能。为了解决这个问题，我们提出了由轨迹优化（VERONICA）引导的主动正则化策略学习来学习平滑控制策略。具体而言，我们提出的方法控制平滑（局部Lipschitz连续性）的神经控制策略，稳定输出控制相对于最坏情况下的输入状态的扰动。我们的机器人操作实验表明，我们提出的方法不仅提高了样本的神经策略学习的效率，但也提高了对各种类型的干扰，包括传感器噪声，环境的不确定性和模型失配的政策的鲁棒性。
2022-04-05 cs.LG cs.RO
Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes
RWTH Aachen University（亚琛工业大学）
引导策略搜索使机器人能够有效地学习复杂操作任务的控制策略。其中，控制策略被表示为基于状态导出机器人动作的高维神经网络。然而，由于指导策略搜索中的真实世界轨迹样本数量很少，因此所得到的神经网络仅在真实世界交互所探索的轨迹分布的邻域中是鲁棒的。在本文中，我们提出了一种新的策略表示称为生成运动反射，这是能够在更广泛的状态空间生成强大的行动相比，以前的方法。与先前的状态动作策略相比，生成性运动反射将状态映射到状态依赖运动反射的参数，然后用于导出动作。鲁棒性是通过对许多状态产生类似的运动反射来实现的。我们评估所提出的方法在模拟和现实世界的操作任务，包括接触丰富的钉孔任务。使用这些评估任务，我们表明，表示为生成运动反射的政策导致强大的操作技能，也探索轨迹分布之外，与以前的方法相比，训练需求更少。
2019-02-19 cs.AI cs.RO
Visual Prompt Guided Unified Pushing Policy
Graduate School of Information Science and Engineering, Ritsumeikan University, Japan（立命馆大学信息科学与工程研究生院）；Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学研究院）；College of Information Science and Engineering, Ritsumeikan University, Japan（立命馆大学信息科学与工程学院）
本文提出一种基于视觉提示的统一推送策略，通过整合轻量级提示机制提升多模态推送动作的生成效率，适用于广泛规划问题，并在桌面清洁任务中表现出色。
2026-02-22 cs.AI cs.RO
Guided Policy Search for Parameterized Skills using Adverbs
Brown University（布朗大学）
我们提出了一种方法，使用副词短语调整技能参数，通过学习副词技能的背景。这些接地允许代理使用由人类提供的副词反馈来直接更新技能策略，其方式类似于传统的本地策略搜索方法。我们表明，我们的方法可以作为这些政策搜索方法的替代品时，密集的奖励环境是不可用的，但人类的语言反馈。我们证明了改进的样本效率在两个实验中的现代政策搜索方法。
2021-10-23 cs.AI cs.CL cs.HC
Learning Deep Control Policies for Autonomous Aerial Vehicles with MPC-Guided Policy Search
University of California, Berkeley（加州大学伯克利分校）
模型预测控制（MPC）是用于控制机器人系统、特别是诸如四轴飞行器的自主飞行器的有效方法。然而，MPC的应用可能在计算上要求很高，并且通常需要估计系统的状态，这在复杂的非结构化环境中可能具有挑战性。强化学习原则上可以放弃对显式状态估计的需要，并获得直接将传感器读数映射到动作的策略，但难以应用于不稳定的系统，这些系统在找到有效的策略之前容易在训练期间发生灾难性故障。我们建议在引导策略搜索的框架中将MPC与强化学习相结合，其中MPC用于在训练时生成数据，在仪表化训练环境提供的全状态观察下。该数据用于训练深度神经网络策略，该策略仅允许访问来自车辆的车载传感器的原始观察结果。经过训练后，神经网络策略可以成功地控制机器人，而不需要知道机器人的全部状态，并且计算成本只有MPC的一小部分。我们评估我们的方法学习避障政策的模拟四旋翼，使用模拟机载传感器和测试时没有明确的状态估计。
2016-02-16 cs.LG cs.RO
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University（南洋理工大学）
由深度Q网络（DQN）算法解决的大量实际工作表明，随机策略尽管简单，但却是最常用的探索方法。然而，大多数现有的随机探索方法要么探索新的行动，无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中，我们提出了一种新的偏好引导的$ε$贪婪探索算法，可以有效地学习动作分布符合景观的Q值DQN，而不引入额外的偏见。具体来说，我们设计了一个双架构，由两个分支组成，其中一个是DQN的副本，即Q分支。另一个分支，我们称之为偏好分支，学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策，并通过实验表明，推断出的动作偏好分布与相应的Q值的景观一致。因此，偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作，即，具有较大Q值的动作可以被更频繁地采样，而具有较小Q值的动作仍然有机会被探索，从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索，随机策略，数据效率，深度强化学习，深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
Path Integral Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
我们提出了一种策略搜索方法，学习复杂的反馈控制政策，从高维的感觉输入映射到电机转矩，不连续的接触动力学的操作任务。我们建立在一个先前的技术，称为引导策略搜索（GPS），迭代优化一组本地政策的特定实例的任务，并使用这些训练一个复杂的，高维的全球政策，概括跨任务实例。我们以以下方式扩展GPS：（1）我们提出使用基于路径积分随机最优控制（PI 2）的无模型局部优化器，这使我们能够学习具有高度不连续接触动态的任务的局部策略;以及（2）我们使GPS能够通过使用策略采样在每次迭代中对一组新的任务实例进行训练：这增加了训练策略的实例的多样性，并且对于实现良好的泛化是至关重要的。我们表明，这些贡献使我们能够学习深度神经网络策略，可以直接从视觉输入执行扭矩控制。我们验证了一个具有挑战性的开门任务和拾取和放置任务的方法，我们证明了我们的方法在这些任务上大大优于先前的基于LQR的本地策略优化器。此外，我们表明，对政策采样显着提高这些政策的泛化能力。
2018-10-11 cs.LG cs.RO
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Nvidia（英伟达）；University of Toronto（多伦多大学）；University of Sydney（悉尼大学）；University of Washington（华盛顿大学）
传统的机器人方法依赖于精确的环境模型，如何执行任务的详细描述，以及强大的感知系统来跟踪当前状态。另一方面，强化学习方法可以直接从原始感官输入操作，只有一个奖励信号来描述任务，但样本效率极低且脆弱。在这项工作中，我们将基于模型的方法的优势与基于学习的方法的灵活性相结合，以获得一种通用方法，该方法能够克服机器人感知/驱动管道中的不准确性，同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区，我们表明，本地学习的政策可以直接与原始的感官输入。我们测试我们的算法，引导不确定性感知策略优化（GUAPO），在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
Investigating Robot Control Policy Learning for Autonomous X-ray-guided Spine Procedures
Johns Hopkins University（约翰霍普金斯大学）；Technical University of Munich（慕尼黑技术大学）；Johns Hopkins School of Medicine（约翰霍普金斯医学院）
本文研究基于模仿学习的机器人控制策略在稀疏输入（双平面X光）下进行椎体成形术中的可行性，通过模拟环境训练策略实现基于视觉的套管针迭代对齐，首次尝试成功率达68.5%，并展示了向复杂解剖结构和真实X光的迁移能力，但存在入口点精度不足等局限。
2026-05-22 cs.AI cs.CV cs.LG
Robust Driving Policy Learning with Guided Meta Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Stanford University（斯坦福大学）；Honda Research Institute USA（美国本田研究所）
针对深度强化学习驾驶策略易过拟合固定社会车辆行为的问题，提出用引导元强化学习训练社会车辆元策略，再用其提升自车策略鲁棒性，在无管制T路口实现了对分布外社会车辆行为的良好泛化。
2023-07-19 cs.AI cs.CV cs.LG
Reset-Free Guided Policy Search: Efficient Deep Reinforcement Learning with Stochastic Initial States
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
机器人技能的自主学习可以让通用机器人学习广泛的行为，而不需要大量的人工工程。然而，机器人技能学习方法通常做出若干权衡之一来实现实际的现实世界学习，诸如需要手动设计的策略或价值函数表示、从人类提供的演示初始化、训练环境的仪器化或极长的训练时间。在本文中，我们提出了一种新的强化学习算法学习操作技能，可以训练通用的神经网络政策与最小的人类工程，同时仍然允许快速，有效的学习随机环境。我们的方法建立在引导策略搜索（GPS）算法的基础上，该算法将强化学习问题转化为来自计算教师的监督学习（无需人工演示）。与之前的GPS方法相比，它需要一组一致的初始状态，系统必须在每次发作后重置，我们的方法可以处理随机初始状态，使其能够用于确定性重置是不可能的环境中。我们比较我们的方法，现有的政策搜索技术在模拟，表明它可以训练高维神经网络的政策，具有相同的样本效率作为以前的GPS方法，并提出了真实世界的结果PR2机器人机械手。
2016-10-06 cs.LG cs.RO
IoT-Enabled Autonomous Maritime Navigation in Smart Ports: A Curriculum-Guided Shared Policy Learning Framework
Nanyang Technological University（南洋理工大学）；School of Civil and Environmental Engineering（土木与环境工程学院）；School of Mechanical and Aerospace Engineering（机械与航空航天工程学院）
针对智能港口IoT自主海上设备的导航挑战，提出课程引导共享策略学习框架，经模拟验证其可靠性、避碰性等优于基线方法，可有效泛化到高密度场景。
2026-08-13 cs.LG cs.RO
Tolerance-Guided Policy Learning for Adaptable and Transferrable Delicate Industrial Insertion
Carnegie Mellon University（卡内基梅隆大学）
策略学习，用于精细的工业插入任务（例如，印制电路板组装）是具有挑战性的。本文考虑两个主要问题：如何学习一个多样化的政策（而不是只有一个平均政策），可以有效地处理不同的工件与最小量的训练数据，以及如何处理插入过程中的工件缺陷。为了解决这些问题，我们提出了宽容引导的策略学习。为了鼓励学习到的策略到不同工件的可转移性，我们使用插入容差将任务嵌入添加到策略的输入空间。然后，我们训练的政策，使用生成对抗模仿学习与奖励塑造（RS-GAIL）的各种代表性的情况。为了鼓励学习策略的适应性，以处理缺陷，我们建立了一个概率推理模型，可以输出最佳的插入姿势的基础上失败的插入使用公差模型。然后，最佳插入姿势被用作对所学习的策略的参考。该方法在一系列IC插座插入任务的仿真中得到了验证。结果表明：1）RS-GAIL在稀疏回报条件下能够有效地学习最优策略; 2）容差嵌入增强了学习策略的可移植性; 3）概率推理使策略对工件缺陷具有鲁棒性。
2021-08-04 cs.RO
Output Feedback Tube MPC-Guided Data Augmentation for Robust, Efficient Sensorimotor Policy Learning
模仿学习（IL）可以从计算昂贵的基于模型的传感和控制算法提供的演示中生成计算高效的感觉运动策略。然而，通常采用的IL方法往往是数据效率低下，需要收集大量的示范和生产的政策与有限的鲁棒性的不确定性。在这项工作中，我们结合IL与输出反馈鲁棒管模型预测控制器（RTMPC）共同生成演示和数据增强策略，有效地学习神经网络为基础的感觉运动的政策。由于增强的数据，我们减少了计算时间和IL所需的演示次数，同时提供了对传感和过程不确定性的鲁棒性。我们调整我们的方法来学习的任务的轨迹跟踪可视化政策的空中机器人，利用三维网格的环境作为数据增强过程的一部分。我们数值证明，我们的方法可以学习一个强大的可视化政策，从一个单一的演示-一个两个数量级的提高演示效率相比，现有的IL方法。
2022-10-18 cs.LG cs.RO
Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation
Tianjin University（天津大学）；The University of Hong Kong（香港大学）；Hefei University of Technology（合肥工业大学）
针对测试时自适应视觉语言导航中的分布偏移问题，提出信用引导策略改进（CGPI），从动作引起的观测转换中恢复决策信用以指导策略更新，并在冻结预训练策略下实现轻量级适应，在多个基准和机器人试验中取得一致提升。
2026-09-30 cs.AI cs.RO
Safe Driving via Expert Guided Policy Optimization
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
在学习驾驶等常见技能时，初学者通常会有领域专家支持，以确保学习过程的安全。我们制定这样的学习计划下专家在回路强化学习，其中监护人被引入，以保障探索的学习代理。监护人在不确定的环境中进行充分探索的同时，在危险的情况下进行干预，并展示正确的行动，以避免潜在的事故。因此，ERL使探索和专家的部分演示作为两个训练源。在此基础上，提出了一种新的专家引导策略优化（EGPO）方法，该方法将监护人集成到强化学习的循环中。监护人是由一个专家的政策，以产生示范和开关功能，以决定何时进行干预。特别是，约束优化技术被用来解决琐碎的解决方案，代理人故意表现得危险，欺骗专家接管。离线RL技术进一步用于从专家生成的部分演示中学习。安全驾驶实验表明，我们的方法实现了优越的训练和测试时的安全性，优于基线的样本效率有很大的利润，并保留了在测试时看不见的环境的推广。演示视频和源代码可在https://decisionforce.github.io/EGPO/上获得
2021-10-30 cs.AI cs.RO
Guided Streaming Stochastic Interpolant Policy
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
本文提出引导式流式随机插值策略，通过分析价值函数的时间演化，推导出最优引导项，实现动态目标下的高效控制与障碍避让。
2026-05-11 cs.AI cs.RO
Ravestate: Distributed Composition of a Causal-Specificity-Guided Interaction Policy
Roboy
针对人机交互策略设计需求，提出Signal-Rule-Slot框架与因果通路自信息的贝叶斯规则效用概念，给出开源实现Ravestate，实验验证其在多模态场景下的稳定上下文表现，助力更高效的人机交互。
2023-10-03 cs.AI cs.HC cs.RO
Guided Meta-Policy Search
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）算法在复杂任务上已经展示了有希望的结果，但由于它们从头开始学习，因此通常需要不切实际的样本数量。Meta-RL旨在通过利用以前任务的经验来解决这一挑战，以便更快地解决新任务。然而，在实践中，这些算法在元训练过程中通常也需要大量的策略经验，这使得它们在许多问题中不切实际。为此，我们建议以联邦的方式学习强化学习过程，其中各个非策略学习者可以解决各个元训练任务，然后将这些解决方案合并到单个元学习者中。由于中央元学习者通过模仿单个任务的解决方案来学习，因此它可以适应标准的元RL问题设置或混合设置，其中一些或所有任务都提供了示例演示。前者的结果是一种方法，可以在元训练期间利用为先前任务学习的策略，而无需大量的策略数据，而后者在演示很容易提供的情况下特别有用。在许多连续控制元RL问题，我们证明了元RL样本效率的显着改善相比，以前的工作，以及扩展到域的视觉观察的能力。
2020-10-27 cs.AI cs.LG cs.RO
CageCoOpt: Enhancing Manipulation Robustness through Caging-Guided Morphology and Policy Co-Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）；Duke University（杜克大学）
提出CageCoOpt分层框架，联合优化机械臂形态与控制策略，结合最小逃逸能量指标，显著提升不确定性下的操作鲁棒性和成功率。
2025-03-02 cs.RO
Versatile Navigation under Partial Observability via Value-guided Diffusion Policy
Illinois Institute of Technology（伊利诺伊理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对部分可观测导航中自回归短视及扩散方法依赖专家、难泛化的问题，提出价值引导扩散策略与点云鸟瞰投影，实现二维到三维零样本迁移并超越基线。
2024-04-01 cs.AI cs.RO
Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion
University of Oxford（牛津大学）
深度强化学习（RL）使用无模型技术来优化特定于任务的控制策略。尽管强化学习已成为解决复杂问题的一种有前途的方法，但它仍然很难可靠地用于现实世界的应用。除了精确的奖励函数调整、不准确的传感和驱动以及非确定性响应等挑战外，现有的RL方法不能保证在所需的安全约束内的行为，而这些安全约束对于真实的机器人场景至关重要。在这方面，我们介绍了指导约束策略优化（GCPO），我们的约束近端策略优化（CPPO）跟踪基本速度命令，同时遵循定义的约束的实现的基础上的RL框架。我们还介绍了计划，鼓励状态恢复到约束区域的情况下，约束违反。我们提出了我们的训练方法的实验结果，并在真正的ANYmal四足机器人上进行测试。我们将我们的方法与无约束RL方法进行比较，结果表明，引导约束RL提供了更快的收敛速度，接近所需的最佳结果，从而获得最佳的，但物理上可行的机器人控制行为，而无需精确的奖励函数调整。
2020-02-22 cs.LG cs.RO cs.SY
DexMimic: A Generalist Dexterous Hand-Object Tracking Policy via Value-Guided Reset Allocation
National University of Singapore (NUS)（新加坡国立大学（NUS））
DexMimic是一种通用型灵巧手-物体跟踪策略，通过价值引导重置分配优化训练，提升了跟踪性能、效率与泛化能力，经真实平台验证有效。
2026-10-16 cs.AI cs.RO
ContactDP: Contact-Guided Diffusion Policy for Tight Insertion Tasks
Mitsubishi Electric Research Labs（三菱电机研究实验室）
ContactDP提出一种多模态扩散策略框架，融合视觉、触觉与力觉信息，结合混合位置-力控制，在紧密插入任务中显著提升性能、可靠性与泛化能力。
2026-09-22 cs.RO
Survivable Robotic Control through Guided Bayesian Policy Search with Deep Reinforcement Learning
许多机器人操作技能可以用确定性特征来表示，并且存在用于学习这些技能的参数化电机计划的有效技术。然而，一个积极的研究挑战仍然是在机械故障的情况下维持操纵能力。理想情况下，像生物一样，机器人代理应该能够通过适应动态对手来重新配置其控制策略。在本文中，我们提出了一种方法，允许代理生存的情况下，机械损失，并自适应地学习操纵妥协的自由度-我们称我们的方法生存机器人学习（SRL）。我们的主要思想是利用贝叶斯策略梯度编码的知识偏见后验估计，这反过来又证明了未来的政策搜索探索，在样本效率和随机探索的政策搜索方法相比。SRL将策略先验表示为高斯过程，通过将引导偏差作为来自先前重放的代理，允许近似后验的易处理计算（当真实梯度难以处理时）。我们评估我们提出的方法对现成的无模型学习算法（DDPG），测试六足机器人平台上遇到增量故障仿真，我们的实验表明，我们的方法大大提高了样本需求和定量成功率在所有故障模式。我们实验的演示视频可以在https://sites.google.com/view/survivalrl上观看
2021-06-29 cs.RO
Federated Subspace Guided Vision-Language-Action Policy Distillation for Non-IID Multi-Robot Manipulation
提出FedDRMan联邦子空间引导蒸馏框架，通过低秩多模态子空间蒸馏和基于更新兼容性的聚类聚合，解决非独立同分布多机器人操作中的表征漂移，在LIBERO上以80.7%成功率超越强基线11.6个百分点。
2026-09-29 cs.CV cs.DC cs.LG
DNAct: Diffusion Guided Multi-Task 3D Policy Learning
UC San Diego（加州大学圣迭戈分校）
本文提出语言条件化多任务3D策略框架DNAct，结合神经渲染预训练与扩散训练，仅用少量演示即可提升策略泛化性，成功率超现有NeRF类方法30%以上。
2024-03-08 cs.AI cs.CV cs.RO
Learning Robot Policies from Sparse Success Signals via STL-Guided Stein Variational Policy Gradient
University of Pennsylvania（宾夕法尼亚大学）；Lehigh University（里海大学）
提出STL-SVPG方法，利用平滑STL鲁棒性作为轨迹级目标，从稀疏成功信号中学习机器人策略，在六个基准中的五个上取得最高平均成功率，并实现仿真到现实的迁移。
2026-09-28 cs.RO
Guided Policy Search using Sequential Convex Programming for Initialization of Trajectory Optimization Algorithms
University of Washington（华盛顿大学）
本文针对轨迹优化对初始猜测敏感的问题，提出一种结合序贯凸规划轨迹更新与随机梯度下降策略更新的引导策略搜索方法，用于生成高质量初始轨迹，并在可重复使用火箭6自由度动力下降制导问题上验证了有效性。
2022-05-19 cs.RO math.OC
NavCMPO: Critic-Guided MeanFlow Policy Optimization for Adaptive Navigation
Zhejiang University（浙江大学）；Shandong University（山东大学）
研究针对无地图视觉导航中策略的问题，提出NavCMPO框架，结合平均流轨迹生成、评论家引导细化和强化学习微调。在InternVLA - N1基准上有高成功率且降低推理延迟，并在Unitree Go2上实现有效模拟到现实的迁移。
2026-07-17 cs.RO
Agent Priors-guided Policy Learning
National University of Singapore（新加坡国立大学）
提出APPL方法，利用策略的结构性先验作为组合与技能间的接口，提升机器人的技能泛化与组合能力，在MetaWorld和ManiSkill任务上验证了有效性。
2026-09-29 cs.RO
VLM-TDP: VLM-guided Trajectory-conditioned Diffusion Policy for Robust Long-Horizon Manipulation
Tencent Robotics X（腾讯机器人实验室）；Southern University of Science and Technology（南方科技大学）
针对扩散策略在长时程操作及图像噪声下的局限，提出VLM-TDP，通过VLMs分解任务并生成体素轨迹引导扩散策略，仿真与真实实验显示其成功率、长时程任务性能显著提升，噪声下性能下降减少。
2025-07-06 cs.RO
Prior Policy Guided Dual-Agent Coordinated Manipulation Planning of Spacecraft-Manipulator System
School of Astronautics（航天学院）；School of Automation（自动化学院）；School of Information Science and Engineering（信息科学与工程学院）
针对空间机械臂与基座强耦合导致的姿态稳定问题，提出先验策略引导的双智能体协同操控规划框架，通过时间步级专家切换机制提升深度强化学习效率，实现末端执行器高精度到达与基座姿态稳定。
2026-05-25 cs.RO
REAL: Robust Extreme Agility via Spatio-Temporal Policy Learning and Physics-Guided Filtering
PEAK-Lab, The Hong Kong University of Science and Technology (Guangzhou)（高峰实验室，香港科学与技术大学（广州））
REAL通过结合时空策略学习和物理引导过滤，提升在动态环境下极端敏捷的鲁棒性，能够在视觉干扰下实现可靠攀爬。
2026-03-18 cs.RO
TGPO: Trace-Guided Policy Optimization for Robot Task Planning via Verifiable Subgoal Generation
AHAT是一种优化长周期规划的家庭任务规划器，通过结合LLM和TGPO算法，在复杂家庭任务中实现高效规划。
2026-10-15 cs.RO
Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation
School of Mechanical Engineering and Automation, BeiHang University（机械工程与自动化学院，北航）；School of Computer Science and Engineering, BeiHang University（计算机科学与工程学院，北航）；Beijing Innovation Center of Humanoid Robotics（人形机器人创新中心）；Division of Robotics, Perception and Learning (RPL), KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院）
本文提出DTP框架，通过生成轨迹减少模仿学习中的误差累积，提升长时程机器人任务的性能。
2025-10-08 cs.RO
Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
本文提出自适应柔顺策略（ACP）框架，通过学习人类示范动态调整空间和时间上的系统柔顺性，以解决视觉运动策略忽略柔顺性的问题，在富接触操作任务中性能提升超50%。
2025-03-07 cs.RO
PinchBot: Long-Horizon Deformable Manipulation with Guided Diffusion Policy
Department of Mechanical Engineering at Carnegie Mellon University（卡内基梅隆大学机械工程系）
针对仅靠捏取动作完成长时程陶艺塑形的挑战，本文提出目标条件扩散策略 PinchBot，融合三维点云嵌入、进度预测与碰撞约束投影以制作多种简单陶器。
2025-07-23 cs.RO
CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning
University of Trento（特伦托大学）；LAAS-CNRS（法国国家科学研究中心LAAS实验室）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；New York University（纽约大学）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所）
CAST提出交替状态值目标与扩展策略梯度，利用规划器引导行为改进价值学习，在多个基准和真实四足机器人上验证了有效性。
2026-09-09 cs.RO
SAGE:State-Aware Guided End-to-End Policy for Multi-Stage Sequential Tasks via Hidden Markov Decision Process
Tsinghua University（清华大学）；Encosmart；Beihang University（北航）
SAGE通过隐马尔可夫决策过程建模多阶段顺序任务，利用状态转移网络和状态感知策略解决状态模糊性，在真实实验中达到100%成功率，且仅需标注13%的状态。
2025-09-24 cs.RO
Learn With Imagination: Safe Set Guided State-wise Constrained Policy Optimization
Carnegie Mellon University（卡内基梅隆大学）
本文提出S-3PO算法，通过安全集引导和想象成本约束，在零训练违规条件下实现状态级安全的最优策略学习，并在高维机器人任务中优于现有方法。
2025-06-03 cs.RO
Learning Contact-Rich Manipulation Skills with Guided Policy Search
University of California, Berkeley（加州大学伯克利分校）
自主学习对象操作技能可以使机器人获得丰富的行为库，这些行为库可以扩展到现实世界中发现的各种对象。然而，当前的运动技能学习方法通常将行为限制为紧凑的低维表示，限制了其表达性和通用性。在本文中，我们扩展了最近开发的政策搜索方法\cite{la-lnnpg-14}，并使用它来学习一系列的动态操作行为与高度一般的政策表示，而不使用已知的模型或示例演示。我们的方法通过使用迭代改装的时变线性模型来学习所需运动技能的一组轨迹，然后将这些轨迹统一到可以推广到新情况的单个控制策略中。为了使这种方法能够在真正的机器人上运行，我们引入了几项改进，减少了样本数量和自动化参数选择。我们表明，我们的方法可以在短短几分钟的交互时间后获得快速，流畅的行为，并且可以学习复杂任务的鲁棒控制器，包括组装玩具飞机，堆叠紧密贴合的乐高积木，将木环放在紧密贴合的挂钩上，将鞋树插入鞋子，并将瓶盖拧到瓶子上。
2015-02-26 cs.RO
