RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）
研究基于大语言模型的机器人操作中策略代码不可靠问题，设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性，通过实验识别四种不可靠行为及原因，还引入优化方法，可提高策略代码生成可靠性达35%。
2026-07-22 cs.AI cs.RO
Co-policy: Responsive Human-Robot Co-Creation for Musical Performances
School of Computer Science, Wuhan University（武汉大学计算机学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Automation, Wuhan University of Technology（武汉理工大学自动化学院）；School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）；School of Robotics, Wuhan University（武汉大学机器人学院）
提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。
2026-06-19 cs.AI cs.RO
Transferable Latent-to-Latent Locomotion Policy for Efficient and Versatile Motion Control of Diverse Legged Robots
Tsinghua University（清华大学）；SunRising AI Ltd（星耀人工智能有限公司）
该研究提出潜空间训练框架，预训练可迁移的潜空间到潜空间运动策略搭配任务专属编解码器，微调时仅优化轻量编解码器，可借助自身或异形态机器人经验加速适配，经仿真与实机验证有效提升了新机器人、新任务的泛化效率。
2025-03-22 cs.AI cs.RO
ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback
National Institute of AIST（日本国立AIST研究所）；Embodied AI Research Team（具身人工智能研究团队）
本研究提出ORPA框架，通过添加轻量反馈条件化模块实现机器人操控策略的在线残差适配，无需重训练即可纠正执行误差，在ALOHA平台的精度敏感操控任务上提升了成功率与扰动恢复能力。
2026-09-01 cs.AI cs.RO
GP3: A 3D Geometry-Aware Policy with Multi-View Images for Robotic Manipulation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；HuPan Lab（虎鹏实验室）；Tongji University（同济大学）
本文提出GP3策略，利用多视角RGB图像和空间编码器推断三维几何表示，并结合语言指令生成连续动作，在模拟与真实机器人上均展现出优于现有方法的几何感知操作能力。
2025-09-19 cs.AI cs.RO
FP3: A 3D Foundation Policy for Robotic Manipulation
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出首个大规模三维机器人操作基础策略模型FP3，基于扩散Transformer在6万条点云轨迹上预训练，仅需80次演示即可在新环境中以超90%成功率学习新任务。
2025-03-11 cs.AI cs.RO
Co-GAIL: Learning Diverse Strategies for Human-Robot Collaboration
Stanford University（斯坦福大学）
Co-GAIL通过协同优化人类策略与机器人策略，从人人协作演示中学习多样化且鲁棒的人机协作策略，并在多个任务中优于现有方法。
2023-09-20 cs.AI cs.RO
Ambient Diffusion Policy: Imitation Learning from Suboptimal Data in Robotics
MIT（麻省理工学院）
提出环境扩散策略，通过噪声依赖的数据使用从次优数据中提取有用特征，在六项任务上优于现有方法，最高提升33%。
2026-06-11 cs.AI cs.RO
Meta-Evolve: Continuous Robot Evolution for One-to-many Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Meta-Evolve 方法，通过共享树状进化路径实现连续机器人进化，将专家策略高效地从源机器人迁移到多个目标机器人，实验显示一对三操作策略迁移效率提升最高 3.2 倍，一对六运动策略迁移提升 2.4 倍。
2024-05-06 cs.AI cs.LG cs.NE
Explaining the Decisions of Deep Policy Networks for Robotic Manipulations
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文通过输入归因方法解释深度策略网络在机器人操作中的决策，提出关节扭矩重要性测量和改进的相关性传播方法，首次在线揭示多模态传感器输入归因的动态变化。
2023-10-30 cs.AI cs.LG cs.RO
Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于神经网络的机器人世界模型，通过双自回归机制和自监督训练实现鲁棒的长周期预测，从而提升机器人策略优化的效率和适应性。
2025-12-14 cs.AI cs.LG cs.RO
MSVIPER: Improved Policy Distillation for Reinforcement-Learning-Based Robot Navigation
University of Maryland（马里兰大学）；National Institute for Standards and Technology（美国国家标准与技术研究院）
我们提出了多场景可验证的强化学习通过政策提取（MSVIPER），一种新的方法，政策蒸馏决策树，以改善机器人导航。MSVIPER使用任何涉及学习状态-动作映射的强化学习（RL）技术来学习“专家”策略，然后使用模仿学习来学习决策树policy. We证明，MSVIPER导致高效的决策树，并且可以准确地模仿专家策略的行为。此外，我们提出了有效的政策蒸馏和树修改技术，利用决策树结构，允许改进的政策，而无需再培训。我们使用我们的方法来提高室内和室外场景的RL为基础的机器人导航算法的性能。我们证明了减少冻结和振荡行为（减少高达95%）的移动机器人导航动态障碍物和减少振动和振荡（高达17%）的室外机器人导航复杂，不平坦的地形方面的好处。
2022-09-19 cs.AI cs.HC cs.LG
Information-theoretic Model Identification and Policy Search using Physics Engines with Application to Robotic Manipulation
Rutgers University（罗格斯大学）
我们考虑的问题，一个机器人学习的机械性能的对象，通过与对象的物理交互，并引入一个实用的，数据高效的方法来识别这些对象的运动模型。所提出的方法利用物理引擎，其中机器人试图通过在不同的参数值下模拟其运动来识别物体的惯性和摩擦参数，并识别那些导致与观察到的真实运动相匹配的模拟的参数。该问题在贝叶斯优化框架中得到解决。相同的框架用于在线识别对象的模型和搜索将根据所识别的模型最小化给定成本函数的策略。仿真和实际机器人的实验结果表明，该方法优于最先进的无模型强化学习方法。
2017-03-22 cs.AI cs.LG cs.RO
Humanoid Policy ~ Human Policy
UC San Diego（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；Apple（苹果公司）；University of Washington（华盛顿大学）；MIT（麻省理工学院）
针对人形机器人操作策略训练数据难规模化的问题，该研究提出用第一视角人类演示作为跨具身训练数据，构建对齐数据集PH2D与统一状态动作空间的HAT策略，结合小规模机器人数据协同训练，提升了策略的泛化性、鲁棒性与数据采集效率。
2025-10-05 cs.AI cs.CV cs.RO
PATO: Policy Assisted TeleOperation for Scalable Robot Data Collection
USC（南加州大学）；UC Berkeley（加州大学伯克利分校）；KAIST（韩国科学技术院）
本文提出 PATO 策略辅助遥操作系统，通过学习的辅助策略自动执行重复行为并在不确定时请求人类输入，从而降低操作员负荷、提升效率并支持一人并行控制多台机器人。
2023-06-01 cs.AI cs.LG cs.RO
Robot Policy Evaluation for Sim-to-Real Transfer: A Benchmarking Perspective
NVIDIA（英伟达）
本文探讨了通用机器人操作策略在sim-to-real迁移评估中的挑战，提出利用高视觉保真度仿真、系统增加任务复杂度与场景扰动以及量化虚实性能对齐三项基准设计原则。
2025-08-14 cs.RO
A Review of Online Diffusion Policy RL Algorithms for Scalable Robotic Control
Daegu Gyeongbuk Institute of Science and Technology（大邱庆尚科学技术院）；ShanghaiTech University（上海科技大学）
本文综述了在线扩散策略强化学习算法，分析了其在可扩展机器人控制中的性能、挑战及未来发展方向。
2026-02-09 cs.AI cs.LG cs.RO
XAI-N: Sensor-based Robot Navigation using Expert Policies and Decision Trees
University of Maryland（马里兰大学）
我们提出了一种新的基于传感器的学习导航算法，以计算机器人在密集和动态环境中移动障碍物或目标的无碰撞轨迹。我们的方法使用基于深度强化学习的专家策略，该策略使用sim2real范式进行训练。为了提高专家策略的可靠性和处理失败的情况下，我们结合了策略提取技术，将产生的策略转换成一个决策树格式。由此产生的决策树的属性，我们用来分析和修改的政策，并提高性能的导航指标，包括平滑度，振荡频率，频率的固定，和障碍的目标。我们能够修改策略来解决这些缺陷，而无需重新训练，将深度学习的学习能力与特定领域算法的控制相结合。我们强调了我们的算法在模拟环境中的好处，并在移动的行人中导航Clearpath Jackal机器人。（视频网址：https：//gamma.umd.edu/researchdirections/xrl/navviper）
2021-07-19 cs.AI cs.LG cs.RO
Confidence-Controlled Exploration: Efficient Sparse-Reward Policy Learning for Robot Navigation
U.S. Army Research Laboratory（美国陆军研究实验室）；JP Morgan AI Research（摩根大通人工智能研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Central Florida（中佛罗里达大学）
针对机器人导航中稀疏奖励导致的探索低效问题，提出CCE依据策略熵动态调节轨迹长度，并在多种RL算法、仿真及真实户外场景中验证其样本效率与性能提升。
2025-03-13 cs.AI cs.LG cs.RO
Policy-contingent abstraction for robust robot control
Carnegie Mellon University（卡内基梅隆大学）
提出一种可扩展的控制算法，使移动机器人系统在充分考虑概率信念的情况下做出高层决策，并成功部署于护理机构。
2012-10-19 cs.AI cs.RO cs.SY
Robust Feedback Motion Policy Design Using Reinforcement Learning on a 3D Digit Bipedal Robot
Ohio State University（俄亥俄州立大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）
本文提出了一种用于学习双足运动的层次化和鲁棒性框架，并在Agility Robotics构建的3D机器人Digit上成功实现。我们提出了一个级联结构的控制器，结合了直观的反馈规则的学习过程。这种设计使得框架能够实现具有降维的状态和动作空间的策略的鲁棒和稳定的行走，显著简化了设计并降低了学习方法的采样效率。将反馈调节纳入框架中提高了学习的步行步态的鲁棒性，并确保了所提出的控制器以最小的调谐成功地实现仿真到现实迁移。我们特别提出了一个学习流水线，考虑硬件可行的机器人在学习过程中的初始姿态，以确保学习的初始状态尽可能接近机器人在硬件实验中的初始状态。最后，我们证明了我们的方法的可行性，通过成功地将模拟学习的策略转移到Digit机器人硬件上，实现了在外力干扰和训练过程中不包括的具有挑战性的地形下的持续步行步态。据我们所知，这是第一次在硬件实验中成功地将基于学习的策略转移到Digit机器人，而不使用动态随机化或课程学习。
2021-03-29 cs.RO
Hierarchical Diffusion Policy for Kinematics-Aware Multi-Task Robotic Manipulation
Dyson（戴森）
本研究提出分层扩散策略HDP，通过高层规划末端执行器位姿、低层结合运动学感知扩散模型生成轨迹，在仿真与真实机器人多任务操作中成功率显著优于现有方法。
2024-03-06 cs.AI cs.CV cs.LG
Robot Trains Robot: Automatic Real-World Policy Adaptation and Learning for Humanoids
Stanford University（斯坦福大学）
提出RTR框架，利用机械臂教师辅助人形机器人学生进行安全高效的真实世界强化学习，通过优化动力学编码潜在变量稳定仿真到现实迁移，并在速度跟踪和摆动起身任务中验证了有效性。
2025-08-26 cs.RO
RoboRecover: Benchmarking Robot Policy Recovery under Execution Deviations
School of Information, Renmin University of China（中国人民大学信息学院）；Key Laboratory of Data Engineering and Knowledge Engineering（数据工程与知识工程重点实验室）；University of Science and Technology of China（中国科学技术大学）；Engineering Research Center of Database and Business Intelligence（数据库与商务智能工程研究中心）
RoboRecover基准通过重放动作前缀重建执行偏差状态，评估策略恢复能力，发现初始性能不决定恢复性能，确立恢复为独立评估维度。
2026-09-25 cs.RO
ManyQuadrupeds: Learning a Single Locomotion Policy for Diverse Quadruped Robots
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
该研究借鉴动物运动控制原理，通过调制中枢模式发生器并搭配可变的模式形成层，训练出可适配不同自由度、形态、质量和尺寸四足机器人的单一运动策略，且在真实机器人负载测试中表现稳健。
2024-03-08 cs.AI cs.LG cs.RO
Language-Conditioned Semantic Search-Based Policy for Robotic Manipulation Tasks
Bielefeld University（比勒费尔德大学）；Indian Institute of Information Technology（印度信息技术学院）
针对强化学习与模仿学习在少样本任务上泛化困难的问题，提出语言条件化语义搜索策略，直接从演示轨迹中检索动作，在 CALVIN 基准上超越基线并具备零样本适应能力。
2023-12-10 cs.AI cs.CV cs.LG
An Energy-Saving Snake Locomotion Gait Policy Obtained Using Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
蛇形机器人，由顺序连接的关节驱动器，最近得到了越来越多的关注，在工业领域，如生命探测在狭窄的空间。这样的机器人可以通过位于骨干上的多个电机的合作，通过复杂的环境中导航。然而，在未知环境中控制机器人是具有挑战性的，并且传统的控制策略可能是能量效率低的，甚至无法导航到目的地。在这项工作中，通过深度强化学习（DRL）开发了一种蛇运动步态策略，用于节能控制。我们将近端策略优化（PPO）应用于由角速度参数化的每个关节电机，并且DRL代理在每个时间步学习标准蛇形曲线。机器人模拟器和任务环境是基于PyBullet构建的。与传统的控制策略相比，经过训练的PPO智能体控制的蛇形机器人可以实现更快的运动速度和更节能的运动步态。这项工作表明，DRL为机器人控制提供了一种节能的解决方案。
2021-04-21 cs.LG cs.RO
A Data-Efficient Model-Based Learning Framework for the Closed-Loop Control of Continuum Robots
Imperial College London（伦敦帝国理工学院）
传统的连续体机器人动力学模型计算量大，不适合实时控制。最近使用基于学习的方法来近似连续体机器人的动态模型进行控制的方法很有前途，尽管真实数据饥饿-这可能会对机器人造成潜在的损害并且耗时-并且仅用仿真数据训练时性能较差。本文提出了一种基于模型的连续体机器人闭环控制的学习框架，通过结合仿真和真实数据，表明只需要100个真实数据，以超过一个真正的数据，只有控制器训练使用多达10000点。引入的具有三种控制策略的数据高效框架利用了高斯过程回归（GPR）和递归神经网络（RNN）。控制策略A使用GPR模型和在模拟中训练的RNN来优化模拟目标的控制输出;控制策略B使用从GPR模型生成的数据来重新训练策略A中的RNN，以适应真实的机器人物理;控制策略C利用策略A和B来形成混合策略。使用一个连续体机器人软脊椎，我们表明，我们的方法提供了一个有效的框架，以弥合基于模型的学习连续体机器人的模拟到真实的差距。
2022-04-22 cs.RO cs.SY eess.SY
Bayesian Meta-Learning for Few-Shot Policy Adaptation Across Robotic Platforms
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
强化学习方法可以实现显著的性能，但需要在同一机器人平台上收集大量的训练数据。用昂贵的数据训练的策略在对机器人硬件进行哪怕是微小的更改后都变得无用。在本文中，我们解决了具有挑战性的问题，适应的政策，训练执行任务，一个新的机器人硬件平台，只有几个演示的机器人运动轨迹的目标机器人。我们将其表述为一个Few-Shot元学习问题，其目标是找到一个元模型，该元模型捕获不同机器人平台之间共享的共同结构，以便可以执行数据高效的自适应。我们通过引入由基于概率梯度的Meta学习算法组成的学习框架来实现这样的适应，该元学习算法利用低维潜变量对由Few-Shot设置引起的不确定性进行建模。我们实验评估我们的框架上的模拟达到和一个真正的机器人采摘任务，使用400个模拟机器人产生的物理参数不同的现有的一组机器人平台。我们的研究结果表明，所提出的方法可以成功地适应不同的机器人平台与新的物理参数和我们的Meta学习算法的优越性相比，国家的最先进的方法引入的Few-Shot政策适应问题。
2021-03-05 cs.AI cs.RO
Ground contact and reaction force sensing for linear policy control of quadruped robot
针对四足机器人控制复杂且计算繁重的问题，研究通过强化学习训练线性策略，并将地面接触与反作用力数据加入观测空间，显著提升了策略的生存能力、抗干扰稳定性及对未训练条件的适应性。
2025-03-03 cs.AI cs.RO
Extending Group Relative Policy Optimization to Continuous Control: A Theoretical Framework for Robotic Reinforcement Learning
University of Houston（德克萨斯大学）；Cisco Systems（思科系统）；Princeton University（普林斯顿大学）；University of Copenhagen（哥本哈根大学）
针对 GRPO 难以用于机器人连续控制的问题，本文提出融合轨迹策略聚类、状态感知优势估计与正则化更新的理论扩展框架，并分析其收敛性与复杂度。
2025-07-25 cs.AI cs.RO
Efficient Robotic Object Search via HIEM: Hierarchical Policy Learning with Intrinsic-Extrinsic Modeling
School of Computing, Informatics, and Decision Systems Engineering, Arizona State University（亚利桑那州立大学计算、信息与决策系统工程学院）
尽管深度强化学习在使机器人具有自主行为方面取得了重大成功，但深度强化学习方法严重受到任务的自然稀疏奖励设置的影响。为了应对这一挑战，我们提出了一种新的策略学习范例的对象搜索任务，层次和可解释的建模与内在的外在奖励设置。更具体地说，我们通过一个代理低级别的政策，这是由内在的奖励子目标驱动，有效地探索环境。我们进一步学习我们的分层政策，从有效的探索经验，我们优化我们的高层次和低层次的政策对外在的奖励目标，以执行对象搜索任务。在House 3D环境中进行的实验验证并表明，使用我们的模型训练的机器人可以以更优化和可解释的方式执行对象搜索任务。
2021-03-02 cs.AI cs.RO
HALO: Learning Human-Robot Collaboration via Heterogeneous-Agent Lyapunov Policy Optimization
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
针对人机协作中人类行为多样性和环境变化导致的泛化与鲁棒性问题，提出异质智能体李雅普诺夫策略优化（HALO）框架，通过李雅普诺夫收缩稳定去中心化多智能体强化学习，并利用最优二次投影修正梯度，实现理性差距的单调收缩，提升协作性能。
2026-05-31 cs.AI cs.RO
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California（南加州大学）；Google Brain（谷歌大脑）
原则上，强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能，使它们能够在现实世界的复杂性和多样性中发挥作用。然而，训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是，多个机器人可以相互分享经验，从而共同学习策略。在这项工作中，我们探索分布式和异步策略学习作为一种手段，以实现泛化和提高训练时间的挑战性，现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索，并使用它来展示集体策略学习基于视觉的开门任务，使用四个机器人。我们表明，它实现了更好的泛化，利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
M$^{2}$GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit
Baidu Inc.（百度公司）
本文提出M$^{2}$GRPO框架，结合选择性状态空间Mamba策略与群体相对策略优化，解决水下机器人追捕中的长时决策、部分可观测性和多机器人协调问题，提升策略的表达性和稳定性。
2026-04-21 cs.AI cs.RO
Active Object Perceiver: Recognition-guided Policy Learning for Object Searching on Mobile Robots
Arizona State University（亚利桑那州立大学）；Adobe Systems, Inc.（奥多比系统公司）；Aibee
我们研究的问题，学习的导航策略的机器人积极寻找感兴趣的对象在室内环境中，仅仅从它的视觉输入。虽然场景驱动的视觉导航已经得到了广泛的研究，以前的努力学习导航策略的机器人找到对象是有限的。这个问题通常比目标场景查找更具挑战性，因为目标对象在视图中可以非常小，并且可以处于任意姿势。我们从主动感知者的角度来处理这个问题，并提出了一个新的框架，该框架集成了基于深度神经网络的对象识别模块和基于深度强化学习的动作预测机制。为了验证我们的方法，我们在仿真数据集（AI 2-THOR）和具有物理机器人的真实环境中进行了实验。我们进一步提出了一个新的衰减奖励函数来学习特定于对象搜索任务的控制策略。实验结果验证了该方法的有效性，在平均轨迹长度和成功率方面均优于竞争方法。
2018-07-30 cs.AI cs.RO
Transfer Learning Across Simulated Robots With Different Sensors
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
对于机器人来说，要学习一个好的策略，它通常需要昂贵的设备（如复杂的传感器）和一个有利于学习的准备好的训练环境。然而，由于经济原因，很少有可能完美地装备机器人，也不能保证理想的学习条件，当部署在现实生活环境中时。一个解决方案是在实验室环境中准备机器人，当所有必要的材料都可以用来学习一个好的策略时。经过实验室训练后，机器人应该能够在没有昂贵设备的情况下使用，但仍然可以保证在现场表现良好。实验室（源）和真实世界环境（目标）之间的转换与迁移学习有关，其中源任务和目标任务之间的状态空间不同。我们使用Bootstrapped Dual Policy Iteration，一种无模型的Actor-Critic强化学习算法和Policy Shaping来解决具有连续状态和离散动作的模拟任务。具体来说，我们训练一个BDPI代理，体现了一个虚拟机器人执行任务的V-Rep模拟器，通过几个接近传感器感测其环境。然后，第二个智能体使用所产生的策略在相同的环境中学习相同的任务，但使用相机图像作为输入。我们的目标是获得一个策略，能够执行任务，仅仅依靠相机图像。
2019-07-18 cs.AI cs.RO
Vision-Language-Policy Model for Dynamic Robot Task Planning
Dynamic Robot Systems Group, Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所动态机器人系统组）；Humanoids and Human-Centered Mechatronics (HHCM), Istituto Italiano di Tecnologia（意大利技术研究所人形与以人为中心的机电系统）
针对机器人在非结构化环境中自然语言命令与自主执行衔接难题，提出基于视觉-语言模型的VLP框架，能解释指令、整合推理生成行为策略，还可动态调整策略，实验证明其有强大规划自主性和跨实体泛化能力。
2026-07-24 cs.AI cs.RO
Policy Learning for Social Robot-Led Physiotherapy
Dept. of Mathematical and Computer Sciences, Heriot-Watt University, UK（赫瑞斯泰学院数学与计算机科学系，赫瑞瓦特大学）；School of Informatics, University of Edinburgh, UK（爱丁堡大学信息学院）；Ageing and Health, and Advanced Care Research Centre, Usher Institute, University of Edinburgh, UK（爱丁堡大学乌sher研究所老龄化与健康研究中心）
针对物理治疗中患者行为数据稀缺的问题，通过33名医疗从业者作为患者代理构建行为模型，并在仿真中训练强化学习策略，使社交机器人能自适应患者疲劳耐受度与恢复阶段。
2025-09-14 cs.AI cs.RO
Learning Visuomotor Policy for Multi-Robot Laser Tag Game
本文提出了一种端到端的视觉运动策略，通过多智能体强化学习训练教师策略并蒸馏知识，以提升多机器人激光对抗游戏中的命中精度和碰撞避免性能。
2026-03-12 cs.RO
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Where-to-Learn: Analytical Policy Gradient Directed Exploration for On-Policy Robotic Reinforcement Learning
本文提出利用可微动力学模型的分析性策略梯度，引导机器人强化学习探索更优轨迹，提升策略学习效率和质量。
2026-04-01 cs.RO
Point Policy: Unifying Observations and Actions with Key Points for Robot Manipulation
New York University（纽约大学）
Point Policy提出仅从人类演示视频学习机器人策略的方法，利用关键点统一观测与动作，在8个真实任务上较先前工作提升75%，且对新型物体和背景杂乱鲁棒。
2025-02-27 cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
NFPO: Stabilized Policy Optimization of Normalizing Flow for Robotic Policy Learning
本文提出NFPO方法，利用归一化流作为策略参数化，解决在线强化学习中训练不稳定问题，通过实验展示其在机器人学习任务中的稳健性和有效性。
2026-03-12 cs.RO
Bayesian Gaussian mixture model for robotic policy imitation
Idiap Research Institute（Idiap 研究所）
学习机器人技能的一种常见方法是模仿演示策略。由于小误差和扰动的复合，这种方法可能会让机器人离开提供演示的状态。这就需要考虑额外的策略，以保证机器人在面对未知状态时表现得适当。我们建议使用贝叶斯方法来量化每个状态下的动作不确定性。所提出的贝叶斯方法是简单的设置，计算效率高，可以适应范围广泛的问题。我们的方法利用估计的不确定性融合的模仿政策与额外的政策。在一个熊猫机器人上进行了仿真实验，仿真结果表明，该方法在连续域中使用不同的控制输入/状态对完成三个操作任务。
2019-08-07 cs.RO
Robot Policy Transfer with Online Demonstrations: An Active Reinforcement Learning Approach
Vrije Universiteit (VU) Amsterdam（阿姆斯特丹自由大学）
本文提出主动LfD算法Policy Transfer with Online Demonstrations，在有限演示预算下优化在线专家演示查询的时机与内容，显著提升机器人跨环境、任务和实体的策略迁移性能。
2025-03-17 cs.AI cs.LG cs.RO
Coordinated Humanoid Robot Locomotion with Symmetry Equivariant Reinforcement Learning Policy
针对现有人形机器人深度强化学习方法忽略形态对称性导致动作不协调的问题，本文提出SE-Policy框架，通过嵌入对称等变/不变性提升运动协调性，在仿真和宇树G1实机上速度跟踪精度最高提升40%。
2025-11-16 cs.RO
Fully Distributed Multi-Robot Collision Avoidance via Deep Reinforcement Learning for Safe and Efficient Navigation in Complex Scenarios
City University of Hong Kong（香港城市大学）；Metoak Technology (Beijing) CO., LTD（北京梅托克科技有限公司）；Fuzhou University（福州大学）
在本文中，我们提出了一个分散的传感器级避碰策略的多机器人系统，在实际应用中显示出良好的效果。特别是，我们的政策直接映射原始传感器测量代理的转向命令的运动速度。作为缩小分散式和集中式方法之间性能差距的第一步，我们提出了一个多场景多阶段训练框架来学习最优策略。该策略是在丰富的，复杂的环境中，同时使用基于策略梯度的强化学习算法在大量的机器人上训练的。该学习算法也被集成到一个混合控制框架，以进一步提高政策的鲁棒性和有效性。我们验证了学习的传感器级避碰策略在各种模拟和真实世界的情况下，彻底的性能评估的大规模多机器人系统。在一组看不见的情况下，包括一组异构机器人的导航和一个大规模的情况下，100个机器人的学习策略的泛化进行了验证。虽然该策略仅使用模拟数据进行训练，但我们已经成功地将其部署在具有不同于模拟代理的形状和动力学特性的物理机器人上，以证明控制器对模拟到真实建模误差的鲁棒性。最后，我们表明，从多机器人导航任务中学习的避碰策略为在密集的真实人群中工作的单个机器人提供了安全有效的自主导航的优秀解决方案。我们的学习策略使机器人能够在人群中有效地前进而不会被卡住。视频可在https://sites.google.com/view/hybridmrca上获得
2018-08-11 cs.RO
Multi-Objective Policy Generation for Multi-Robot Systems Using Riemannian Motion Policies
Georgia Institute of Technology（佐治亚理工学院）
在许多应用中，需要多个机器人系统来实现多个目标。对于这些多目标任务，通常很难设计出同时满足所有目标的单个控制策略。在本文中，我们专注于多目标任务，可以分解成一组简单的子任务。这些子任务的控制器是单独设计的，然后组合成整个团队的控制策略。我们的工作的一个重要特点是，子任务控制器的设计与其底层流形。当一个控制器与其他控制器相结合时，它们的相关流形也被考虑在内。这种提法产生的多机器人系统，可以结合控制器的各种目标，同时隐式地处理机器人和子任务之间的相互作用的政策生成框架。为了描述流形上的控制器，我们采用黎曼运动策略（RMP），并提出了一个集合的RMP常见的多机器人子任务。集中式和分散式算法被设计成将这些RMP组合成最终的控制策略。理论分析表明，在控制策略下系统是稳定的。此外，我们证明，许多现有的多机器人控制器可以密切近似的框架。通过模拟任务和机器人实现所提出的算法进行验证。
2019-08-30 cs.RO
Raising Body Ownership in End-to-End Visuomotor Policy Learning via Robot-Centric Pooling
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
提出机器人中心池化方法，通过突出与本体感觉相关的图像区域，增强端到端视觉运动策略对干扰物和像素偏移的鲁棒性，无需额外数据收集。
2024-11-07 cs.RO
PolyMorph: Learning Locomotion Policy for Cross-Embodiment Adaptation
PolyMorph是一种形态条件框架，通过结合循环编码器、图Transformer等组件，实现单一运动策略在双足、三足等异构腿式机器人间的泛化，无需针对特定机器人重新训练。
2026-10-15 cs.RO
Control Your Robot: A Unified System for Robot Control and Policy Deployment
ScaleLab, Shanghai Jiao Tong University（上海交通大学ScaleLab）；University of Shanghai for Science and Technology（上海科学技术大学）
Control Your Robot提出了一种统一的机器人控制与策略部署框架，通过模块化设计和标准化流程，实现跨平台的数据收集与策略学习，提升机器人学习的可扩展性和可重复性。
2025-12-09 cs.RO
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks 公司）
为了让机器人执行关键任务，它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而，现有方法通常仅采用单个策略。这可能会限制适应性，因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题，我们提出了基于地图的多策略强化学习（MMPRL），其目的是搜索和存储编码不同行为特征的多个策略，同时在环境变化之前最大化期望奖励。由于这些政策，这是存储到一个多维的离散地图，根据其行为特征，适应可以在合理的时间内进行，而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明，MMPRL使机器人能够快速适应大的变化，而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到：https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
