Guided Policy Search for Parameterized Skills using Adverbs
Brown University（布朗大学）
我们提出了一种方法，使用副词短语调整技能参数，通过学习副词技能的背景。这些接地允许代理使用由人类提供的副词反馈来直接更新技能策略，其方式类似于传统的本地策略搜索方法。我们表明，我们的方法可以作为这些政策搜索方法的替代品时，密集的奖励环境是不可用的，但人类的语言反馈。我们证明了改进的样本效率在两个实验中的现代政策搜索方法。
2021-10-23 cs.AI cs.CL cs.HC
Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes
RWTH Aachen University（亚琛工业大学）
引导策略搜索使机器人能够有效地学习复杂操作任务的控制策略。其中，控制策略被表示为基于状态导出机器人动作的高维神经网络。然而，由于指导策略搜索中的真实世界轨迹样本数量很少，因此所得到的神经网络仅在真实世界交互所探索的轨迹分布的邻域中是鲁棒的。在本文中，我们提出了一种新的策略表示称为生成运动反射，这是能够在更广泛的状态空间生成强大的行动相比，以前的方法。与先前的状态动作策略相比，生成性运动反射将状态映射到状态依赖运动反射的参数，然后用于导出动作。鲁棒性是通过对许多状态产生类似的运动反射来实现的。我们评估所提出的方法在模拟和现实世界的操作任务，包括接触丰富的钉孔任务。使用这些评估任务，我们表明，表示为生成运动反射的政策导致强大的操作技能，也探索轨迹分布之外，与以前的方法相比，训练需求更少。
2019-02-19 cs.AI cs.RO
Visual Prompt Guided Unified Pushing Policy
Graduate School of Information Science and Engineering, Ritsumeikan University, Japan（立命馆大学信息科学与工程研究生院）；Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学研究院）；College of Information Science and Engineering, Ritsumeikan University, Japan（立命馆大学信息科学与工程学院）
本文提出一种基于视觉提示的统一推送策略，通过整合轻量级提示机制提升多模态推送动作的生成效率，适用于广泛规划问题，并在桌面清洁任务中表现出色。
2026-02-22 cs.AI cs.RO
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
原则上，强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能，使它们能够在现实世界的复杂性和多样性中发挥作用。然而，训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是，多个机器人可以相互分享经验，从而共同学习策略。在这项工作中，我们探索分布式和异步策略学习作为一种手段，以实现泛化和提高训练时间的挑战性，现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索，并使用它来展示集体策略学习基于视觉的开门任务，使用四个机器人。我们表明，它实现了更好的泛化，利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods
School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）；University of Melbourne（墨尔本大学）
本文提出一种基于最优控制值函数的基线，用于深度强化学习策略梯度方法，在策略学习中提供引导探索，并在机器人稀疏奖励任务中验证其有效性。
2024-11-06 cs.AI cs.LG cs.RO
Investigating Robot Control Policy Learning for Autonomous X-ray-guided Spine Procedures
Johns Hopkins University（约翰霍普金斯大学）；Technical University of Munich（慕尼黑技术大学）；Johns Hopkins School of Medicine（约翰霍普金斯医学院）
本文研究基于模仿学习的机器人控制策略在稀疏输入（双平面X光）下进行椎体成形术中的可行性，通过模拟环境训练策略实现基于视觉的套管针迭代对齐，首次尝试成功率达68.5%，并展示了向复杂解剖结构和真实X光的迁移能力，但存在入口点精度不足等局限。
2026-05-22 cs.AI cs.CV cs.LG
Robust Driving Policy Learning with Guided Meta Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Stanford University（斯坦福大学）；Honda Research Institute USA（美国本田研究所）
针对深度强化学习驾驶策略易过拟合固定社会车辆行为的问题，提出用引导元强化学习训练社会车辆元策略，再用其提升自车策略鲁棒性，在无管制T路口实现了对分布外社会车辆行为的良好泛化。
2023-07-19 cs.AI cs.CV cs.LG
Guided Policy Optimization under Partial Observability
School of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人学院）；School of Computer Science, Peking University（北京大学计算机科学学院）
本文提出GPO框架，通过联合训练指导器和学习器，在部分可观察环境中实现与直接RL相当的最优性能，有效解决现有方法的局限性。
2026-03-13 cs.AI cs.LG cs.RO
Tolerance-Guided Policy Learning for Adaptable and Transferrable Delicate Industrial Insertion
Carnegie Mellon University（卡内基梅隆大学）
策略学习，用于精细的工业插入任务（例如，印制电路板组装）是具有挑战性的。本文考虑两个主要问题：如何学习一个多样化的政策（而不是只有一个平均政策），可以有效地处理不同的工件与最小量的训练数据，以及如何处理插入过程中的工件缺陷。为了解决这些问题，我们提出了宽容引导的策略学习。为了鼓励学习到的策略到不同工件的可转移性，我们使用插入容差将任务嵌入添加到策略的输入空间。然后，我们训练的政策，使用生成对抗模仿学习与奖励塑造（RS-GAIL）的各种代表性的情况。为了鼓励学习策略的适应性，以处理缺陷，我们建立了一个概率推理模型，可以输出最佳的插入姿势的基础上失败的插入使用公差模型。然后，最佳插入姿势被用作对所学习的策略的参考。该方法在一系列IC插座插入任务的仿真中得到了验证。结果表明：1）RS-GAIL在稀疏回报条件下能够有效地学习最优策略; 2）容差嵌入增强了学习策略的可移植性; 3）概率推理使策略对工件缺陷具有鲁棒性。
2021-08-04 cs.RO
MPC-Net: A First Principles Guided Policy Search
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种模仿学习方法，用于控制具有已知模型的动态系统。我们的策略搜索方法由MPC的解决方案指导。这种类型的典型策略搜索方法最小化引导示范和学习策略之间的距离度量。然而，我们的损失函数对应于控制哈密顿量的最小化，这是从最优性原理推导出来的。因此，我们的算法直接试图解决的最优性条件与参数化类的控制律。此外，建议的损失函数明确编码的最优控制问题的约束，我们提供了数值证据，其最小化实现了改进的约束满足。我们训练的混合专家神经网络架构控制四足机器人，并表明这种政策结构非常适合这样的多模态系统。学习的政策可以成功地稳定不同的步态在真正的步行机器人从不到10分钟的演示数据。
2020-02-17 cs.LG cs.RO
Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation
Tianjin University（天津大学）；The University of Hong Kong（香港大学）；Hefei University of Technology（合肥工业大学）
针对测试时自适应视觉语言导航中的分布偏移问题，提出信用引导策略改进（CGPI），从动作引起的观测转换中恢复决策信用以指导策略更新，并在冻结预训练策略下实现轻量级适应，在多个基准和机器人试验中取得一致提升。
2026-09-30 cs.AI cs.RO
Safe Driving via Expert Guided Policy Optimization
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
在学习驾驶等常见技能时，初学者通常会有领域专家支持，以确保学习过程的安全。我们制定这样的学习计划下专家在回路强化学习，其中监护人被引入，以保障探索的学习代理。监护人在不确定的环境中进行充分探索的同时，在危险的情况下进行干预，并展示正确的行动，以避免潜在的事故。因此，ERL使探索和专家的部分演示作为两个训练源。在此基础上，提出了一种新的专家引导策略优化（EGPO）方法，该方法将监护人集成到强化学习的循环中。监护人是由一个专家的政策，以产生示范和开关功能，以决定何时进行干预。特别是，约束优化技术被用来解决琐碎的解决方案，代理人故意表现得危险，欺骗专家接管。离线RL技术进一步用于从专家生成的部分演示中学习。安全驾驶实验表明，我们的方法实现了优越的训练和测试时的安全性，优于基线的样本效率有很大的利润，并保留了在测试时看不见的环境的推广。演示视频和源代码可在https://decisionforce.github.io/EGPO/上获得
2021-10-30 cs.AI cs.RO
Guided Streaming Stochastic Interpolant Policy
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
本文提出引导式流式随机插值策略，通过分析价值函数的时间演化，推导出最优引导项，实现动态目标下的高效控制与障碍避让。
2026-05-11 cs.AI cs.RO
Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning
National University of Defense Technology（国防科技大学）；Shanghai Institute of Microsystem and Information Technology（上海微系统与信息技术研究所）；Chinese Academy of Sciences（中国科学院）；Delft University of Technology（代尔夫特理工大学）
针对离线强化学习中分布外问题导致现有策略正则化方法过度保守的缺陷，提出结合VAE的自适应优势引导策略正则化方法A2PR，理论上保障策略提升，在D4RL等基准上取得最优性能。
2024-07-15 cs.AI cs.LG cs.RO
Ravestate: Distributed Composition of a Causal-Specificity-Guided Interaction Policy
Roboy
针对人机交互策略设计需求，提出Signal-Rule-Slot框架与因果通路自信息的贝叶斯规则效用概念，给出开源实现Ravestate，实验验证其在多模态场景下的稳定上下文表现，助力更高效的人机交互。
2023-10-03 cs.AI cs.HC cs.RO
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Nvidia（英伟达）；University of Toronto（多伦多大学）；University of Sydney（悉尼大学）；University of Washington（华盛顿大学）
传统的机器人方法依赖于精确的环境模型，如何执行任务的详细描述，以及强大的感知系统来跟踪当前状态。另一方面，强化学习方法可以直接从原始感官输入操作，只有一个奖励信号来描述任务，但样本效率极低且脆弱。在这项工作中，我们将基于模型的方法的优势与基于学习的方法的灵活性相结合，以获得一种通用方法，该方法能够克服机器人感知/驱动管道中的不准确性，同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区，我们表明，本地学习的政策可以直接与原始的感官输入。我们测试我们的算法，引导不确定性感知策略优化（GUAPO），在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
Active Object Perceiver: Recognition-guided Policy Learning for Object Searching on Mobile Robots
Arizona State University（亚利桑那州立大学）；Adobe Systems, Inc.（奥多比系统公司）；Aibee
我们研究的问题，学习的导航策略的机器人积极寻找感兴趣的对象在室内环境中，仅仅从它的视觉输入。虽然场景驱动的视觉导航已经得到了广泛的研究，以前的努力学习导航策略的机器人找到对象是有限的。这个问题通常比目标场景查找更具挑战性，因为目标对象在视图中可以非常小，并且可以处于任意姿势。我们从主动感知者的角度来处理这个问题，并提出了一个新的框架，该框架集成了基于深度神经网络的对象识别模块和基于深度强化学习的动作预测机制。为了验证我们的方法，我们在仿真数据集（AI 2-THOR）和具有物理机器人的真实环境中进行了实验。我们进一步提出了一个新的衰减奖励函数来学习特定于对象搜索任务的控制策略。实验结果验证了该方法的有效性，在平均轨迹长度和成功率方面均优于竞争方法。
2018-07-30 cs.AI cs.RO
CageCoOpt: Enhancing Manipulation Robustness through Caging-Guided Morphology and Policy Co-Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）；Duke University（杜克大学）
提出CageCoOpt分层框架，联合优化机械臂形态与控制策略，结合最小逃逸能量指标，显著提升不确定性下的操作鲁棒性和成功率。
2025-03-02 cs.RO
DR-APO: Decoupled-Representation Advantage-Guided Policy Optimization from Continuous Control to Embodied Navigation
DEEP Robotics（深度机器人公司）；Zhejiang University（浙江大学）
DR-APO为高斯、扩散、流匹配策略提供统一优化原则，在MuJoCo任务中具竞争力，NavDP后训练显著提升仿真与真实导航的成功率。
2026-10-14 cs.LG cs.RO
Versatile Navigation under Partial Observability via Value-guided Diffusion Policy
Illinois Institute of Technology（伊利诺伊理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对部分可观测导航中自回归短视及扩散方法依赖专家、难泛化的问题，提出价值引导扩散策略与点云鸟瞰投影，实现二维到三维零样本迁移并超越基线。
2024-04-01 cs.AI cs.RO
Adversarially Regularized Policy Learning Guided by Trajectory Optimization
Georgia Institute of Technology（佐治亚理工学院）
结合轨迹优化与函数逼近（特别是神经网络）的最新进展显示了在机器人系统中学习用于不同任务的复杂控制策略的前景。尽管它们具有很大的灵活性，但用于参数化控制策略的大型神经网络带来了重大挑战。学习的神经控制策略往往过于复杂和非光滑，这很容易导致意外或发散的机器人运动。因此，它们在实践中往往产生较差的泛化性能。为了解决这个问题，我们提出了由轨迹优化（VERONICA）引导的主动正则化策略学习来学习平滑控制策略。具体而言，我们提出的方法控制平滑（局部Lipschitz连续性）的神经控制策略，稳定输出控制相对于最坏情况下的输入状态的扰动。我们的机器人操作实验表明，我们提出的方法不仅提高了样本的神经策略学习的效率，但也提高了对各种类型的干扰，包括传感器噪声，环境的不确定性和模型失配的政策的鲁棒性。
2022-04-05 cs.LG cs.RO
DexMimic: A Generalist Dexterous Hand-Object Tracking Policy via Value-Guided Reset Allocation
National University of Singapore (NUS)（新加坡国立大学（NUS））
DexMimic是一种通用型灵巧手-物体跟踪策略，通过价值引导重置分配优化训练，提升了跟踪性能、效率与泛化能力，经真实平台验证有效。
2026-10-16 cs.AI cs.RO
Learning the Generalizable Manipulation Skills on Soft-body Tasks via Guided Self-attention Behavior Cloning Policy
Guangxi University（广西大学）；University of Science and Technology of China（中国科学技术大学）
针对具身智能中软体操作技能泛化难的问题，提出含引导自注意力模块、两阶段微调的GP2E行为克隆策略，在ManiSkill2挑战赛软体赛道夺冠，提升了模型泛化能力。
2024-10-08 cs.AI cs.RO
Learning Deep Control Policies for Autonomous Aerial Vehicles with MPC-Guided Policy Search
University of California, Berkeley（加州大学伯克利分校）
模型预测控制（MPC）是用于控制机器人系统、特别是诸如四轴飞行器的自主飞行器的有效方法。然而，MPC的应用可能在计算上要求很高，并且通常需要估计系统的状态，这在复杂的非结构化环境中可能具有挑战性。强化学习原则上可以放弃对显式状态估计的需要，并获得直接将传感器读数映射到动作的策略，但难以应用于不稳定的系统，这些系统在找到有效的策略之前容易在训练期间发生灾难性故障。我们建议在引导策略搜索的框架中将MPC与强化学习相结合，其中MPC用于在训练时生成数据，在仪表化训练环境提供的全状态观察下。该数据用于训练深度神经网络策略，该策略仅允许访问来自车辆的车载传感器的原始观察结果。经过训练后，神经网络策略可以成功地控制机器人，而不需要知道机器人的全部状态，并且计算成本只有MPC的一小部分。我们评估我们的方法学习避障政策的模拟四旋翼，使用模拟机载传感器和测试时没有明确的状态估计。
2016-02-16 cs.LG cs.RO
ContactDP: Contact-Guided Diffusion Policy for Tight Insertion Tasks
Mitsubishi Electric Research Labs（三菱电机研究实验室）
ContactDP提出一种多模态扩散策略框架，融合视觉、触觉与力觉信息，结合混合位置-力控制，在紧密插入任务中显著提升性能、可靠性与泛化能力。
2026-09-22 cs.RO
Survivable Robotic Control through Guided Bayesian Policy Search with Deep Reinforcement Learning
许多机器人操作技能可以用确定性特征来表示，并且存在用于学习这些技能的参数化电机计划的有效技术。然而，一个积极的研究挑战仍然是在机械故障的情况下维持操纵能力。理想情况下，像生物一样，机器人代理应该能够通过适应动态对手来重新配置其控制策略。在本文中，我们提出了一种方法，允许代理生存的情况下，机械损失，并自适应地学习操纵妥协的自由度-我们称我们的方法生存机器人学习（SRL）。我们的主要思想是利用贝叶斯策略梯度编码的知识偏见后验估计，这反过来又证明了未来的政策搜索探索，在样本效率和随机探索的政策搜索方法相比。SRL将策略先验表示为高斯过程，通过将引导偏差作为来自先前重放的代理，允许近似后验的易处理计算（当真实梯度难以处理时）。我们评估我们提出的方法对现成的无模型学习算法（DDPG），测试六足机器人平台上遇到增量故障仿真，我们的实验表明，我们的方法大大提高了样本需求和定量成功率在所有故障模式。我们实验的演示视频可以在https://sites.google.com/view/survivalrl上观看
2021-06-29 cs.RO
Path Integral Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
我们提出了一种策略搜索方法，学习复杂的反馈控制政策，从高维的感觉输入映射到电机转矩，不连续的接触动力学的操作任务。我们建立在一个先前的技术，称为引导策略搜索（GPS），迭代优化一组本地政策的特定实例的任务，并使用这些训练一个复杂的，高维的全球政策，概括跨任务实例。我们以以下方式扩展GPS：（1）我们提出使用基于路径积分随机最优控制（PI 2）的无模型局部优化器，这使我们能够学习具有高度不连续接触动态的任务的局部策略;以及（2）我们使GPS能够通过使用策略采样在每次迭代中对一组新的任务实例进行训练：这增加了训练策略的实例的多样性，并且对于实现良好的泛化是至关重要的。我们表明，这些贡献使我们能够学习深度神经网络策略，可以直接从视觉输入执行扭矩控制。我们验证了一个具有挑战性的开门任务和拾取和放置任务的方法，我们证明了我们的方法在这些任务上大大优于先前的基于LQR的本地策略优化器。此外，我们表明，对政策采样显着提高这些政策的泛化能力。
2018-10-11 cs.LG cs.RO
Federated Subspace Guided Vision-Language-Action Policy Distillation for Non-IID Multi-Robot Manipulation
提出FedDRMan联邦子空间引导蒸馏框架，通过低秩多模态子空间蒸馏和基于更新兼容性的聚类聚合，解决非独立同分布多机器人操作中的表征漂移，在LIBERO上以80.7%成功率超越强基线11.6个百分点。
2026-09-29 cs.CV cs.DC cs.LG
ProxiDex: Learning Dynamics-Guided Proximity Policy for Dexterous Manipulation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang University（新疆大学）；Beijing Zhongke Huiling Robot Technology Co., LTD.（北京中科慧灵机器人技术有限公司）
ProxiDex提出动力学引导的近距策略，利用手-物近距表示和动作条件动力学，在视觉反馈不可靠时稳定灵巧操作，提升成功率与鲁棒性。
2026-09-16 cs.AI cs.RO
PrefPI: Preference-Guided Steering into Out-of-Distribution Behaviors
Georgia Institute of Technology（佐治亚理工学院）
PrefPI利用相对偏好通过偏好条件生成建模和无分类器引导迭代优化预训练机器人策略，实现分布外行为转向，在真实硬件上以150条偏好轨迹将运输高度提升至19.8厘米。
2026-10-01 cs.AI cs.LG cs.RO
Multi-task Learning with Gradient Guided Policy Specialization
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种方法，有效地学习多个相关的机器人运动技能的控制策略。我们的方法包括两个阶段，联合培训和专业化培训。在联合训练阶段，用最少的信息训练神经网络策略以消除运动技能的歧义。这迫使策略学习不同任务的公共表示。然后，在专业化训练阶段，我们根据衡量多个任务之间不一致性的每个权重度量有选择地划分策略的权重。通过分割控制策略的一部分，可以进一步训练它来专门处理每个任务。为了在学习过程中更新控制策略，我们使用广义优势函数信赖域策略优化（TRPOGAE）。我们提出了一个修改的梯度更新阶段的TRPO，以更好地适应多任务的学习场景。我们评估了我们在模拟中的三个连续运动技能学习问题上的方法：1）运动任务，其中训练具有相当大的形状和尺寸差异的三个单腿足式机器人向前跳跃，2）操纵任务，其中训练具有不同尺寸和关节类型的三个机器人操纵器到达3D空间中的不同位置，以及3）两条腿的足式机器人的运动，其一条腿的运动范围以不同的方式受到限制。我们将我们的训练方法与三个基线进行比较。第一个基线只对策略进行联合训练，第二个基线为每个任务训练独立的策略，最后一个基线随机选择要分割的权重。我们表明，我们的方法比每种基线方法都更有效地学习。
2018-03-02 cs.AI cs.LG cs.RO
Q-Guided Stein Variational Model Predictive Control via RL-informed Policy Prior
University of Sydney（悉尼大学）；NVIDIA（英伟达）
Q-SVMPC通过结合RL引导的策略先验和Stein变分方法，提升轨迹优化的样本效率、稳定性和鲁棒性。
2026-09-09 cs.AI cs.LG cs.RO
Guided Policy Search Model-based Reinforcement Learning for Urban Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们继续我们以前的工作，使用模仿学习（IL）和无模型强化学习（RL），学习驾驶策略的自动驾驶在城市的情况下，通过引入基于模型的RL方法来驱动自动驾驶汽车在卡拉城市驾驶模拟器。尽管IL和无模型RL方法已被证明能够解决许多具有挑战性的任务，包括玩视频游戏，机器人，以及在我们之前的工作中，城市驾驶，但这些方法的低样本效率极大地限制了它们在实际自动驾驶中的应用。在这项工作中，我们开发了一个基于模型的RL算法的指导政策搜索（GPS）的城市驾驶任务。该算法迭代学习一个参数化的动力学模型来逼近复杂的交互式驾驶任务，并在非线性近似动力学模型下优化驾驶策略。作为一种基于模型的强化学习方法，GPS在城市自动驾驶中具有更高的样本效率、更好的可解释性和更高的稳定性。我们提供了大量的实验验证所提出的方法的有效性，学习鲁棒的驾驶政策，在卡拉城市驾驶。我们还将所提出的方法与其他策略搜索和无模型RL基线进行了比较，表明基于GPS的RL方法的样本效率提高了100倍，并且基于GPS的方法可以学习基线方法难以学习的更难任务的策略。
2020-05-11 cs.RO
Learning Robot Policies from Sparse Success Signals via STL-Guided Stein Variational Policy Gradient
University of Pennsylvania（宾夕法尼亚大学）；Lehigh University（里海大学）
提出STL-SVPG方法，利用平滑STL鲁棒性作为轨迹级目标，从稀疏成功信号中学习机器人策略，在六个基准中的五个上取得最高平均成功率，并实现仿真到现实的迁移。
2026-09-28 cs.RO
Guided Policy Search using Sequential Convex Programming for Initialization of Trajectory Optimization Algorithms
University of Washington（华盛顿大学）
本文针对轨迹优化对初始猜测敏感的问题，提出一种结合序贯凸规划轨迹更新与随机梯度下降策略更新的引导策略搜索方法，用于生成高质量初始轨迹，并在可重复使用火箭6自由度动力下降制导问题上验证了有效性。
2022-05-19 cs.RO math.OC
Policy-Guided World Model Planning for Language-Conditioned Visual Navigation
Drexel University（德雷塞尔大学）
本文提出PiJEPA框架，结合学习导航策略与潜在世界模型规划，通过微调Octo策略和冻结预训练视觉编码器，提升语言指导下的视觉导航准确性与指令遵循性。
2026-03-26 cs.AI cs.CL cs.RO
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University（南洋理工大学）
由深度Q网络（DQN）算法解决的大量实际工作表明，随机策略尽管简单，但却是最常用的探索方法。然而，大多数现有的随机探索方法要么探索新的行动，无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中，我们提出了一种新的偏好引导的$ε$贪婪探索算法，可以有效地学习动作分布符合景观的Q值DQN，而不引入额外的偏见。具体来说，我们设计了一个双架构，由两个分支组成，其中一个是DQN的副本，即Q分支。另一个分支，我们称之为偏好分支，学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策，并通过实验表明，推断出的动作偏好分布与相应的Q值的景观一致。因此，偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作，即，具有较大Q值的动作可以被更频繁地采样，而具有较小Q值的动作仍然有机会被探索，从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索，随机策略，数据效率，深度强化学习，深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
NavCMPO: Critic-Guided MeanFlow Policy Optimization for Adaptive Navigation
Zhejiang University（浙江大学）；Shandong University（山东大学）
研究针对无地图视觉导航中策略的问题，提出NavCMPO框架，结合平均流轨迹生成、评论家引导细化和强化学习微调。在InternVLA - N1基准上有高成功率且降低推理延迟，并在Unitree Go2上实现有效模拟到现实的迁移。
2026-07-17 cs.RO
Agent Priors-guided Policy Learning
National University of Singapore（新加坡国立大学）
提出APPL方法，利用策略的结构性先验作为组合与技能间的接口，提升机器人的技能泛化与组合能力，在MetaWorld和ManiSkill任务上验证了有效性。
2026-09-29 cs.RO
Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion
University of Oxford（牛津大学）
深度强化学习（RL）使用无模型技术来优化特定于任务的控制策略。尽管强化学习已成为解决复杂问题的一种有前途的方法，但它仍然很难可靠地用于现实世界的应用。除了精确的奖励函数调整、不准确的传感和驱动以及非确定性响应等挑战外，现有的RL方法不能保证在所需的安全约束内的行为，而这些安全约束对于真实的机器人场景至关重要。在这方面，我们介绍了指导约束策略优化（GCPO），我们的约束近端策略优化（CPPO）跟踪基本速度命令，同时遵循定义的约束的实现的基础上的RL框架。我们还介绍了计划，鼓励状态恢复到约束区域的情况下，约束违反。我们提出了我们的训练方法的实验结果，并在真正的ANYmal四足机器人上进行测试。我们将我们的方法与无约束RL方法进行比较，结果表明，引导约束RL提供了更快的收敛速度，接近所需的最佳结果，从而获得最佳的，但物理上可行的机器人控制行为，而无需精确的奖励函数调整。
2020-02-22 cs.LG cs.RO cs.SY
Reset-Free Guided Policy Search: Efficient Deep Reinforcement Learning with Stochastic Initial States
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
机器人技能的自主学习可以让通用机器人学习广泛的行为，而不需要大量的人工工程。然而，机器人技能学习方法通常做出若干权衡之一来实现实际的现实世界学习，诸如需要手动设计的策略或价值函数表示、从人类提供的演示初始化、训练环境的仪器化或极长的训练时间。在本文中，我们提出了一种新的强化学习算法学习操作技能，可以训练通用的神经网络政策与最小的人类工程，同时仍然允许快速，有效的学习随机环境。我们的方法建立在引导策略搜索（GPS）算法的基础上，该算法将强化学习问题转化为来自计算教师的监督学习（无需人工演示）。与之前的GPS方法相比，它需要一组一致的初始状态，系统必须在每次发作后重置，我们的方法可以处理随机初始状态，使其能够用于确定性重置是不可能的环境中。我们比较我们的方法，现有的政策搜索技术在模拟，表明它可以训练高维神经网络的政策，具有相同的样本效率作为以前的GPS方法，并提出了真实世界的结果PR2机器人机械手。
2016-10-06 cs.LG cs.RO
Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation
Boston Dynamics AI Institute（波士顿动力人工智能研究所）；UC San Diego（加州大学圣迭戈分校）；Cornell University（康奈尔大学）
提出 GLIDE 框架，利用基于模型的运动规划在高保真仿真中生成大规模双臂接触操作演示，并训练任务条件化扩散策略，结合关键设计缩小仿真到现实差距，实现对多样未见物体的鲁棒泛化操作。
2025-02-14 cs.CV cs.LG cs.RO
VLM-TDP: VLM-guided Trajectory-conditioned Diffusion Policy for Robust Long-Horizon Manipulation
Tencent Robotics X（腾讯机器人实验室）；Southern University of Science and Technology（南方科技大学）
针对扩散策略在长时程操作及图像噪声下的局限，提出VLM-TDP，通过VLMs分解任务并生成体素轨迹引导扩散策略，仿真与真实实验显示其成功率、长时程任务性能显著提升，噪声下性能下降减少。
2025-07-06 cs.RO
IoT-Enabled Autonomous Maritime Navigation in Smart Ports: A Curriculum-Guided Shared Policy Learning Framework
Nanyang Technological University（南洋理工大学）；School of Civil and Environmental Engineering（土木与环境工程学院）；School of Mechanical and Aerospace Engineering（机械与航空航天工程学院）
针对智能港口IoT自主海上设备的导航挑战，提出课程引导共享策略学习框架，经模拟验证其可靠性、避碰性等优于基线方法，可有效泛化到高密度场景。
2026-08-13 cs.LG cs.RO
Output Feedback Tube MPC-Guided Data Augmentation for Robust, Efficient Sensorimotor Policy Learning
模仿学习（IL）可以从计算昂贵的基于模型的传感和控制算法提供的演示中生成计算高效的感觉运动策略。然而，通常采用的IL方法往往是数据效率低下，需要收集大量的示范和生产的政策与有限的鲁棒性的不确定性。在这项工作中，我们结合IL与输出反馈鲁棒管模型预测控制器（RTMPC）共同生成演示和数据增强策略，有效地学习神经网络为基础的感觉运动的政策。由于增强的数据，我们减少了计算时间和IL所需的演示次数，同时提供了对传感和过程不确定性的鲁棒性。我们调整我们的方法来学习的任务的轨迹跟踪可视化政策的空中机器人，利用三维网格的环境作为数据增强过程的一部分。我们数值证明，我们的方法可以学习一个强大的可视化政策，从一个单一的演示-一个两个数量级的提高演示效率相比，现有的IL方法。
2022-10-18 cs.LG cs.RO
Prior Policy Guided Dual-Agent Coordinated Manipulation Planning of Spacecraft-Manipulator System
School of Astronautics（航天学院）；School of Automation（自动化学院）；School of Information Science and Engineering（信息科学与工程学院）
针对空间机械臂与基座强耦合导致的姿态稳定问题，提出先验策略引导的双智能体协同操控规划框架，通过时间步级专家切换机制提升深度强化学习效率，实现末端执行器高精度到达与基座姿态稳定。
2026-05-25 cs.RO
Guided Imitation of Task and Motion Planning
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
虽然现代策略优化方法可以从传感数据进行复杂的操作，但它们在处理具有扩展时间范围和多个子目标的问题时会遇到困难。另一方面，任务和运动规划（TAMP）方法可扩展到长时间范围，但它们在计算上是昂贵的，并且需要精确地跟踪世界状态。我们提出了一种方法，利用这两种方法的力量：我们训练的政策，模仿TAMP求解器的输出。这产生了一个前馈策略，可以从传感数据完成多步任务。首先，我们建立了一个异步分布式TAMP求解器，可以产生足够快的监督数据模仿学习。然后，我们提出了一个分层的政策架构，让我们使用部分训练的控制策略，以加快TAMP求解器。在具有7-DoF关节控制的机器人操作任务中，部分训练的策略将规划所需的时间减少了2.6倍。在这些任务中，我们可以学习一个策略，该策略在88%的时间内通过对象姿势观察解决RoboSuite 4-对象拾取-放置任务，并且在79%的时间内通过RGB图像解决RoboDesk 9-目标基准测试（在9个不同任务中取平均值）。
2021-12-06 cs.AI cs.LG cs.RO
REAL: Robust Extreme Agility via Spatio-Temporal Policy Learning and Physics-Guided Filtering
PEAK-Lab, The Hong Kong University of Science and Technology (Guangzhou)（高峰实验室，香港科学与技术大学（广州））
REAL通过结合时空策略学习和物理引导过滤，提升在动态环境下极端敏捷的鲁棒性，能够在视觉干扰下实现可靠攀爬。
2026-03-18 cs.RO
Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
强化学习可以从高级规范中获取复杂的行为。然而，定义可以有效优化并编码正确任务的成本函数在实践中具有挑战性。我们探讨如何逆最优控制（IOC）可以用来学习行为的演示，应用到高维机器人系统的扭矩控制。我们的方法解决了逆最优控制中的两个关键挑战：第一，需要信息特征和有效的正则化来对成本施加结构，第二，学习高维连续系统的未知动态下的成本函数的困难。为了解决前一个挑战，我们提出了一个算法，能够学习任意的非线性成本函数，如神经网络，没有细致的特征工程。为了解决后一个挑战，我们制定了一个有效的基于样本的近似MaxEnt IOC。我们评估我们的方法上的一系列模拟任务和现实世界中的机器人操作问题，表现出显着的改进，无论是在任务的复杂性和样本效率方面比以前的方法。
2016-05-27 cs.AI cs.LG cs.RO
TGPO: Trace-Guided Policy Optimization for Robot Task Planning via Verifiable Subgoal Generation
AHAT是一种优化长周期规划的家庭任务规划器，通过结合LLM和TGPO算法，在复杂家庭任务中实现高效规划。
2026-10-15 cs.RO
Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation
School of Mechanical Engineering and Automation, BeiHang University（机械工程与自动化学院，北航）；School of Computer Science and Engineering, BeiHang University（计算机科学与工程学院，北航）；Beijing Innovation Center of Humanoid Robotics（人形机器人创新中心）；Division of Robotics, Perception and Learning (RPL), KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院）
本文提出DTP框架，通过生成轨迹减少模仿学习中的误差累积，提升长时程机器人任务的性能。
2025-10-08 cs.RO
Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
本文提出自适应柔顺策略（ACP）框架，通过学习人类示范动态调整空间和时间上的系统柔顺性，以解决视觉运动策略忽略柔顺性的问题，在富接触操作任务中性能提升超50%。
2025-03-07 cs.RO
PinchBot: Long-Horizon Deformable Manipulation with Guided Diffusion Policy
Department of Mechanical Engineering at Carnegie Mellon University（卡内基梅隆大学机械工程系）
针对仅靠捏取动作完成长时程陶艺塑形的挑战，本文提出目标条件扩散策略 PinchBot，融合三维点云嵌入、进度预测与碰撞约束投影以制作多种简单陶器。
2025-07-23 cs.RO
CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning
University of Trento（特伦托大学）；LAAS-CNRS（法国国家科学研究中心LAAS实验室）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；New York University（纽约大学）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所）
CAST提出交替状态值目标与扩展策略梯度，利用规划器引导行为改进价值学习，在多个基准和真实四足机器人上验证了有效性。
2026-09-09 cs.RO
