FoAM: Foresight-Augmented Multi-Task Imitation Policy for Robotic Manipulation
University of Southern California（南加州大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
FoAM通过引入多模态目标条件和前瞻增强，提升多任务模仿学习在机器人操作中的动作可靠性与泛化能力，在超100个任务中成功率最高提升41%。
2025-03-26 cs.RO
VisuoSpatial Foresight for Physical Sequential Fabric Manipulation
机器人织物操作在家用机器人、纺织品、老年护理和外科手术中有应用。然而，现有的织物操纵技术是为特定任务设计的，使得难以在不同但相关的任务之间进行概括。我们建立在Visual Focal框架上，学习织物动态，可以有效地重复使用，以完成不同的顺序织物操作任务与一个单一的目标条件的政策。我们扩展了我们早期的工作，视觉空间的Focusion（VSF），学习域随机RGB图像和深度图的视觉动态，同时和完全在模拟。在这项早期的工作中，我们评估了VSF对多步织物平滑和折叠任务对5个基线方法在模拟和达芬奇研究工具包（dVRK）手术机器人没有任何示范训练或测试时间。一个关键的发现是，深度传感显着提高了性能：RGBD数据在模拟中的织物折叠成功率比纯RGB数据提高了80%。在这项工作中，我们改变了VSF的4个组成部分，包括数据生成，视觉动力学模型，成本函数和优化过程。结果表明，使用更长的基于角的动作训练视觉动力学模型可以将织物折叠的效率提高76%，并实现VSF以前无法以90%的可靠性执行的物理顺序织物折叠任务。代码、数据、视频和补充材料可在https://sites.google.com/view/fabric-vsf/上获得。
2021-07-20 cs.AI cs.CV cs.RO
Deep Visual Foresight for Planning Robot Motion
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
将机器人学习扩展到许多技能和环境的一个关键挑战是消除对人类监督的需求，以便机器人可以收集自己的数据并提高自己的性能，而不受请求人类反馈的成本的限制。基于模型的强化学习有望使智能体能够学习预测其行为的影响，这可以为各种任务和环境提供灵活的预测模型，而无需详细的人工监督。我们开发了一种将深度动作调节视频预测模型与使用完全未标记的训练数据的模型预测控制相结合的方法。我们的方法不需要校准的相机，仪器化的培训设置，也不需要精确的传感和驱动。我们的研究结果表明，我们的方法使一个真正的机器人执行nonpromisile操作-推动物体-并可以处理训练过程中没有看到的新对象。
2017-03-13 cs.AI cs.CV cs.LG
Millimeter-wave Foresight Sensing for Safety and Resilience in Autonomous Operations
Heriot-Watt University（赫瑞-瓦特大学）；Nagasaki University（长崎大学）
机器人平台具有高度可编程性、可扩展性和通用性，可完成多种任务，包括检查、维护和维修（IMR）。移动机器人减少了操作环境中的限制，从而提高了灵活性;在高空、危险区域和重复性任务中操作。网络物理基础设施已被英国机器人增长伙伴关系确定为我们如何通过虚拟和物理世界利用传感器和机器并与之交互的关键推动因素。网络物理系统（CPS）允许机器人和人工智能适应和重新调整，从而解决CPS中的新挑战。机器人技术面临的一个挑战是在广泛的领域建立有效的合作伙伴关系，其中包括共享机器人和超视距（BVLOS）。机器人操纵能力通过打开门口的能力提高了机器人的可访问性，然而，机器人如何决定进入新的工作空间是否安全存在挑战。目前的传感方法仅限于视线范围，无法捕获门口或墙壁以外的数据，因此，机器人无法感知开门是否安全。另一个限制是机器人无法检测人类是否在共享工作空间内。因此，如果检测到人类，则可以采取扩展的安全预防措施以确保机器人的安全自主操作。这些挑战表现为安全、信任和弹性，阻碍了CPS的成功推进。本文评估了使用调频连续波雷达感应人体检测和穿墙检测，以提高态势感知。结果验证了传感器的使用，以检测人和基础设施之间的差异，并通过前瞻性监测通过墙壁提高导航的态势感知。
2022-03-24 cs.RO eess.SP
Beyond Dense Futures: World Models as Structured Planners for Robotic Manipulation
本文提出StructVLA，通过结构化规划器提升机器人操作的可靠性，采用稀疏结构帧替代密集预测，实现视觉规划与运动控制的结合，实验显示在多个环境中的高成功率。
2026-03-13 cs.CV cs.RO
CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics
KAIST（韩国科学技术院）
CLaD通过不对称跨注意力机制联合建模本体和语义状态演化，利用自监督目标和EMA编码器防止表征崩溃，实现高成功率的长序列动作生成。
2026-03-31 cs.RO
Learning Foresightful Dense Visual Affordance for Deformable Object Manipulation
针对可变形物体操作的复杂状态、高维动作及易陷局部最优等问题，提出前瞻性密集视觉可供性及含多阶段稳定学习、无专家自监督数据采集的学习框架，实现多样状态泛化，性能优于现有方法。
2023-07-21 cs.CV cs.RO
DINO-Foresight: Looking into the Future with DINO
Archimedes, Athena Research Center（阿基米德研究所，雅典研究学院）；National Technical University of Athens（雅典国立技术大学）；University of Crete（克里特大学）；IACM-Forth（福伊恩研究所）
DINO-Foresight通过在预训练视觉基础模型的语义特征空间中训练，实现了对未来动态的预测，提升了自动驾驶和机器人领域的环境理解能力。
2025-11-28 cs.CV
OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation
Fudan University（复旦大学）；University of Southern California（南加州大学）
OFlow通过统一时间预测和对象感知推理，提升机器人操作的鲁棒性，实验表明对象感知预测增强了任务成功率。
2026-04-20 cs.RO
Foresight Residual RL for Long-Horizon Robot Manipulation with Vision-Language-Action Models
Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
研究针对长时机器人操作中VLA策略的不足，提出前瞻性残差强化学习，通过离线估计前瞻性值优化交接质量，在螺母拧紧装配任务中，该方法全任务成功率高，优于标准方法和基线，强调塑造子任务成功状态对提升长时性能的重要性。
2026-07-21 cs.LG cs.RO
DeltaWAM: Change-Centric Visual Foresight via Delta Tokens for an Efficient World-Action Model
针对像素空间世界模型重建整个未来场景的高计算成本问题，DeltaWAM以紧凑的delta令牌为预测单元，基于DeltaWorld自回归预测帧间变化，并由流匹配动作专家生成动作，在LIBERO上取得92.8%成功率，且推理高效。
2026-09-29 cs.CV cs.RO
From Foresight to Forethought: VLM-In-the-Loop Policy Steering via Latent Alignment
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（伯克利大学）
提出FOREWARN框架，通过潜在世界模型预测动作后果并利用VLM在自然语言空间中评估过滤计划，实现鲁棒的运行时机器人策略引导。
2025-05-02 cs.LG cs.RO
Reinforcement Learning Experiments and Benchmark for Solving Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（Resero有限公司）；Universidad de León（莱昂大学）
强化学习在机器人领域显示出了巨大的潜力，这要归功于它通过自我训练开发高效机器人控制程序的能力。特别是，强化学习已经成功地应用于解决机器人手臂的到达任务。在本文中，我们定义了一个强大的，可重复的和系统的实验过程来比较各种无模型算法在解决这个任务的性能。这些策略在仿真中进行训练，然后转移到物理机器人操纵器上。结果表明，增加奖励信号与后见之明的经验重放探索技术增加了平均回报的关政策代理之间的7和9倍时，目标位置是随机初始化在每个情节的开始。
2020-11-11 cs.AI cs.LG cs.RO
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco（伯南布哥大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在机器人场景中处理社交任务是困难的，因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况，特别是涉及强化学习的模型。在这项工作中，我们讨论了这个问题和可能的解决方案，通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives
Carnegie Mellon University（卡内基梅隆大学）
尽管强化学习（RL）在构建通用机器人系统方面具有潜力，但由于在纯粹连续的动作空间中探索的困难，训练RL代理来解决机器人任务仍然具有挑战性。解决这个问题是一个活跃的研究领域，主要集中在通过更好的优化或更有效的探索来改进RL方法。另一个需要考虑改进的重要组件是RL算法与机器人的接口。在这项工作中，我们手动指定一个库的机器人动作原语（RAPS），参数化的参数，学习的RL策略。这些参数化原语具有表达性，易于实现，能够进行有效的探索，并且可以在机器人，任务和环境之间传输。我们进行了彻底的实证研究，在三个不同的领域与图像输入和稀疏的终端奖励具有挑战性的任务。我们发现，我们对动作界面的简单改变大大提高了学习效率和任务性能，无论底层RL算法如何，都显著优于从离线专家数据中学习技能的先前方法。https://mihdalal.github.io/raps/上的代码和视频
2021-10-28 cs.AI cs.CV cs.LG
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI（开放人工智能研究中心）
本技术报告的目的是双重的。首先，它介绍了一套具有挑战性的连续控制任务（与OpenAI Gym集成），基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动，滑动和拾取放置，以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励，并遵循多目标强化学习（RL）框架，其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路，其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
Salesforce AI Research（Salesforce人工智能研究院）；UC San Diego（加州大学圣地亚哥分校）；Texas A&M University（得克萨斯农工大学）；Stanford University（斯坦福大学）
提出自我反思蒸馏（SRD），利用事后轨迹知识训练交互前预见，补充RLVR，在奖励均匀场景下显著提升成功率，最高达24.2个百分点。
2026-10-15 cs.AI cs.CL cs.IR
Reinforcement Learning with Time-dependent Goals for Robotic Musicians
University of Hamburg（汉堡大学）
强化学习是一种很有前途的机器人控制方法。然而，演奏乐器的任务在很大程度上是未被探索的，因为它涉及到实现具有时间维度的连续目标-旋律-的挑战。在本文中，我们解决机器人音乐通过引入一个时间扩展目标条件强化学习：时间依赖性目标。我们证明，这些可以用来训练机器人音乐家发挥特雷门乐器。我们训练机器人代理在模拟和转让收购的政策，以现实世界的机器人thereminist。补充视频：https://youtu.be/jvC9mPzdQN4
2020-11-11 cs.AI cs.RO
Comparing Popular Simulation Environments in the Scope of Robotics and Reinforcement Learning
German Aerospace Center (DLR)（德国航空航天中心）；ZAL Center of Applied Aeronautical Research（ZAL应用航空研究中心）
这封信通过一系列基准测试比较了四种不同的、流行的机器人和强化学习（RL）仿真环境的性能。基准场景是根据当前的工业应用精心设计的。考虑到需要尽可能快地运行模拟以减少RL代理的真实训练时间，比较不仅包括不同的模拟环境，还包括不同的硬件配置，从入门级笔记本电脑到双CPU高性能服务器。我们表明，选择的模拟环境受益最多的单核性能。然而，使用多核系统，可以并行运行多个模拟以提高性能。
2021-03-08 cs.AI cs.LG cs.RO
SG-WAM: Text-Grounded and Spatial-aware Semantic Guidance for World-Action Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Ola Dimensions（奥拉维度公司）
针对现有世界-动作模型（WAM）存在的视频与指令语义不对齐问题，提出基于视觉-语言模型（VLM）的SG-WAM语义引导方法，通过注入文本接地且空间感知的语义前瞻，提升了WAM的指令遵循与操纵精度，经仿真和真实实验验证有效。
2026-08-11 cs.CV cs.RO
Foresight in Motion: Reinforcing Trajectory Prediction with Reward Heuristics
HKUST（香港科技大学）；Voyager Research, Didi Chuxing（维嘉尔研究，滴滴出行）；Zhuoyu Technology（筑宇科技）
本文提出“先推理后预测”的轨迹预测框架，通过查询中心逆强化学习推导奖励分布并推理多意图，结合层次化类DETR解码器与双向选择性状态空间模型，在Argoverse和nuScenes上取得有竞争力的预测性能。
2025-07-16 cs.CV cs.RO
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University（东北大学）
强化学习（Reinforcement learning，RL）是空间机器人领域中一个很有前途的研究领域，它可以提高机器人的自主性和决策能力，但由于环境的随机性和不确定性，传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索，很少有人类反馈，更快，更安全的月球表面运动或多机器人系统的协调和协作。然而，使用RL和机器学习的空间机器人应用研究面临许多障碍，特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台，称为强化学习，用于基于仿真的机器人训练，或RL STaR，有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台，以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University（斯坦福大学）
多任务学习理想地允许机器人获得各种有用的技能。然而，许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上，机器人学习的任务是顺序到达的，这取决于用户和机器人当前的环境。在这项工作中，我们研究了一个实际的顺序多任务RL问题，该问题的动机是物理机器人系统的实际约束，并推导出一种方法，有效地利用以前的任务学习的数据和政策，以累积增长机器人的技能。在一系列的模拟机器人操作实验中，我们的方法需要不到一半的样本比从头开始学习每个任务，同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上，我们的方法逐步学习十项具有挑战性的任务，包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
A Concise Introduction to Reinforcement Learning in Robotics
PES University（PES大学）
机器人技术面临的最大障碍之一是复杂和难以工程化的行为。强化学习提供了一套工具和框架来解决这个问题。与此同时，机器人技术的疑虑为强化学习的进步提供了坚实的试验场和评估指标。这两个学科齐头并进，就像数学和物理领域一样。通过这篇调查论文，我们的目标是通过关注机器人的机车和控制方面的强化学习所做的工作，来加强这两个学科的研究社区之间的联系。此外，我们的目标不仅是突出显着的成功，但也强化学习在机器人技术中的应用的关键挑战。本文旨在为强化学习应用于机器人领域的研究人员提供参考指南。文献调查是在一个相当入门的水平，旨在有抱负的研究人员。适当地，我们已经涵盖了强化学习领域研究所需的最基本的概念，并考虑到机器人技术。通过对这个问题的深入分析，我们能够证明强化学习是如何被有效应用的，并且还关注开放式问题以及未来研究的潜力。
2022-10-13 cs.AI cs.RO
Visual Foresight for Robotic Stow: A Diffusion-Based World Model from Sparse Snapshots
Amazon, Seattle, US（亚马逊（美国西雅图））
FOREST通过基于稀疏快照的扩散模型，提升仓库存取操作的预测精度，为仓储规划提供有效预见信号。
2026-02-12 cs.AI cs.CV cs.RO
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics（Acutronic机器人技术公司）
我们提出了一个新的框架，深度强化学习（DRL）模块化机器人训练机器人直接从关节状态，使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化，信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策，在四个不同的模块化关节机械臂（MARA）环境。我们使用与机器人中使用的典型工具（如Gazebo和Robot操作系统2（ROS 2））通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University（萨尔兰大学）
近年来，基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同，他们的特点取决于那些底层的学习方法。在这里，我们考虑一个基准规划问题，从强化学习域，赛道，调查来自不同的深度（强化）学习方法的代理的属性。我们比较了深度监督学习的性能，特别是模仿学习，以及赛道模型的强化学习。我们发现，模仿学习产生的代理人遵循更危险的路径。相比之下，深度强化学习的决策更具预见性，即，避免出现更有可能做出致命决定的状态。我们的评估表明，对于这个顺序决策问题，深度强化学习在许多方面表现最好，即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Online Reinforcement Learning for Dynamic Multimedia Systems
在我们以前的工作中，我们提出了一个系统的跨层框架的动态多媒体系统，它允许每一层作出自主和前瞻性的决定，最大限度地提高系统的长期性能，同时满足应用程序的实时延迟约束。所提出的解决方案解决了跨层优化离线，假设多媒体系统的概率动态是已知的先验。然而，在实践中，这些动态是先验未知的，因此必须在线学习。在本文中，我们解决这个问题，让多媒体系统层学习，通过反复相互作用，自主优化系统的长期性能在运行时。我们提出了两种强化学习算法，用于在不同的设计约束下优化系统：第一种算法以集中的方式解决跨层优化，第二种算法以分散的方式解决跨层优化。我们分析这两种算法所需的计算，内存和层间通信开销。在注意到所提出的强化学习算法学习速度太慢之后，我们引入了一种互补的加速学习算法，该算法利用了有关系统动态的部分知识，以显着提高系统的性能。在我们的实验中，我们证明了分散式学习可以像集中式学习一样执行，同时使层能够自主行动。此外，我们表明，现有的应用程序无关的强化学习算法，和现有的近视学习算法部署在多媒体系统中，执行显着不如我们提出的应用程序感知和前瞻性的学习方法。
2009-06-29 cs.LG cs.MM
AR3n: A Reinforcement Learning-based Assist-As-Needed Controller for Robotic Rehabilitation
Target（塔吉特公司）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
本文提出基于强化学习的按需辅助控制器AR3n，利用虚拟患者模型实现跨受试者泛化，在机器人辅助手写康复中根据跟踪误差实时调节辅助并最小化辅助量，通过仿真与人体实验验证其有效性。
2023-04-17 cs.AI cs.LG cs.RO
Towards Vision-Based Deep Reinforcement Learning for Robotic Motion Control
ARC Centre of Excellence for Robotic Vision (ACRV)（ARC机器人视觉卓越中心（ACRV））；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））
介绍了一种基于机器学习的机器人视觉控制系统。第一次展示了仅从原始像素图像并且没有任何配置的先验知识的自主学习机器人控制器的能力。我们建立在最近的深度强化学习的成功，并开发了一个系统，学习目标达到与三关节机器人机械手使用外部视觉观察。在仿真中，演示了深度Q网络（DQN）在训练后执行目标到达。将网络转移到真实的硬件和真实的观察中失败了，但实验表明，当用合成图像替换相机图像时，网络可以工作。
2015-11-13 cs.CV cs.LG cs.RO
Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models
University of Hamburg（汉堡大学）
针对机器人操作强化学习中样本效率低、奖励设定难的问题，提出Lafite-RL框架，借助大语言模型自然语言反馈提升学习效率与成功率，在RLBench任务上表现优于基线。
2023-11-04 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment
Tsinghua University（清华大学）；Shenzhen Academy of Robotics（深圳机器人研究院）
本文提出了一种新的机器人抓取系统，用于在复杂场景中自动拾取物体。设计了一种由吸盘和夹持器组成的复合机械手，用于稳定抓取物体。吸盘用于首先将物体从杂物中提起，并且抓持器用于相应地抓持物体。我们利用示能图为吸盘提供像素级提升点候选。为了获得良好的示能图，系统引入了主动探索机制。设计了一个有效的度量来计算当前示能图的奖励，并采用深度Q网络（DQN）来引导机器人手主动探索环境，直到生成的示能图适合抓取。实验结果表明，所提出的机器人抓取系统是能够大大提高机器人抓取的成功率在混乱的场景。
2023-02-21 cs.CV cs.LG cs.RO
Importance of Environment Design in Reinforcement Learning: A Study of a Robotic Environment
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
对特定环境的深入理解在强化学习（RL）中至关重要。为了解决这一问题，本文研究了移动协作机器人助手的决策过程建模的马尔可夫决策过程（MDP）框架。利用非线性贝尔曼最优性方程计算了MDP的最优状态-动作组合。这个方程组可以通过Wolfram Mathematica的计算能力相对容易地求解，其中获得的最佳动作值指向最佳策略。与其他RL算法不同，该方法不近似最优行为，它给出了精确的，显式的解决方案，这为我们的研究提供了坚实的基础。有了这个，我们提供了新的见解来理解RL中的动作选择机制，通过提出各种小的修改，导致不同的最优策略的非常相同的模式。
2021-06-28 cs.AI cs.LG cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Evaluating Reinforcement Learning Algorithms for Navigation in Simulated Robotic Quadrupeds: A Comparative Study Inspired by Guide Dog Behaviour
University of Hertfordshire（赫特福德大学）
本研究比较了PPO、DQN和Q学习三种强化学习算法在模拟四足机器人导航与避障中的表现，发现PPO在所有指标上最优，为开发机器人导盲犬及医疗辅助机器人提供了依据。
2025-07-17 cs.AI cs.LG cs.RO
Deep Dive into Model-free Reinforcement Learning for Biological and Robotic Systems: Theory and Practice
University of Southern California（南加州大学）；Google Deep Mind（谷歌深度思维）；Fauna Robotics（Fauna机器人公司）
本文阐述无模型深度强化学习（尤其是 actor-critic 方法）的数学与算法基础，展示其如何用于获取感觉运动策略，并研究生物及机器人行为背后的具身反馈控制规律。
2024-05-19 cs.AI cs.LG cs.RO
Reinforcement Learning Approaches in Social Robotics
Örebro University（厄勒布鲁大学）
本文综述了社会机器人中的强化学习方法。强化学习是一个决策问题的框架，其中智能体通过试错与环境交互，以发现最佳行为。由于交互是强化学习和社交机器人的关键组成部分，因此它可以成为与物理体现的社交机器人进行真实世界交互的非常合适的方法。本文的范围特别集中在包括社交物理机器人和现实世界中的人机交互与用户的研究。我们对社会机器人中的强化学习方法进行了深入的分析。除了调查，我们分类现有的强化学习方法的基础上使用的方法和奖励机制的设计。此外，由于通信能力是社交机器人的一个突出特点，我们讨论和分组的基础上用于奖励制定的通信介质的论文。考虑到设计奖励函数的重要性，我们还根据奖励的性质对论文进行了分类。这种分类包括三个主要主题：交互式强化学习，内在动机的方法，和任务性能驱动的方法。强化学习在社会机器人中的好处和挑战，关于他们是否使用主观和算法措施的论文的评估方法，在现实世界的强化学习的挑战和建议的解决方案的角度进行讨论，还有待探讨的点，包括迄今为止得到较少关注的方法也在本文中给出。因此，本文的目的是成为一个起点，研究人员有兴趣使用和应用强化学习方法在这个特定的研究领域。
2021-02-11 cs.AI cs.RO
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore（新加坡国立大学）
强化学习已经在机器人任务中显示出广泛的用途，例如插入和抓取。然而，如果没有一个实际的sim2real策略，在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究，但这些方法大多依赖于繁重的图像渲染，域随机化训练或调整。在这项工作中，我们解决了插入任务，使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略，Real2Sim，它提供了一个新的和更容易的解决方案，在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
针对机器人通用策略训练数据质量限制性能的问题，提出RLDG方法，用强化学习生成高质量数据微调通用策略，在真实精密操作任务中成功率最高提升40%且泛化性更好，为开发兼具灵活性与高性能的机器人系统提供新路径。
2024-12-13 cs.AI cs.LG cs.RO
STORM: Search-Guided Generative World Models for Robotic Manipulation
Sun Yat-sen University（中山大学）
STORM通过结合生成模型与搜索算法，实现了机器人操作中的时空推理，显著提升了任务成功率和环境适应能力。
2025-12-20 cs.CV cs.RO
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)（仿生机器人与人工智能实验室（BRAIL））
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题，提出基于强化学习并结合域随机化的自主控制流程，在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行，但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中，我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合，强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym，并消除了管理物理机器人系统的负担，将其抽象为熟悉的API。我们介绍了一个导航任务，机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入，并提供基线结果在真实的环境和模拟副本。要开始培训，请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control
University of Science and Technology of China（中国科学技术大学）；Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学网络空间先进技术研究院）
传统上，强化学习方法基于当前状态预测下一个动作。然而，在许多情况下，直接将动作应用于控制系统或机器人是危险的，并且可能导致意外的行为，因为动作是相当低级别的。在本文中，我们提出了一个新的分层强化学习框架没有明确的行动。我们的Meta策略试图操纵下一个最优状态，实际行动是由逆动力学模型产生的。为了稳定训练过程，我们将对抗学习和信息瓶颈集成到我们的框架中。在我们的框架下，广泛可用的状态只有示范可以有效地利用模仿学习。此外，先验知识和约束可以应用于Meta策略。我们在模拟任务中测试了我们的算法，并将其与模仿学习相结合。实验结果表明了算法的可靠性和鲁棒性。
2020-11-02 cs.AI cs.LG cs.RO
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
强化学习（RL）算法有望实现机器人系统的自主技能获取。然而，在实践中，现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外，使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中，我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时，我们的系统会调整以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的实证结果表明，将先验数据纳入机器人强化学习，使自主学习，大大提高了学习的样本效率，并使更好的推广。项目网址：https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg（弗赖堡大学）
本文综述了深度学习在机器人学习控制中的应用，探讨了深度强化学习和模仿学习两大主流方法，分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
From Scratch to Sketch: Deep Decoupled Hierarchical Reinforcement Learning for Robotic Sketching Agent
Seoul National University（首尔国立大学）
我们提出了一个自动学习框架的机器人素描代理，能够学习基于笔划的渲染和电机控制同时进行。我们制定的机器人素描问题作为一个深度解耦的分层强化学习;两个政策，基于笔划的渲染和电机控制独立学习，以实现子任务的绘图，并形成一个层次结构时，合作的现实世界的绘图。没有手工制作的功能，绘图序列或轨迹，和逆运动学，所提出的方法训练的机器人草图代理从头开始。我们进行了实验，6自由度的机器人手臂与2F夹具素描涂鸦。我们的实验结果表明，这两种策略成功地学习了子任务，并合作绘制目标图像。此外，通过不同的绘图工具和表面检查的鲁棒性和灵活性。
2022-08-09 cs.CV cs.RO
Decision Making for Human-in-the-loop Robotic Agents via Uncertainty-Aware Reinforcement Learning
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
在人在回路范例中，机器人代理能够在解决任务时大部分自主行动，但可以在需要时向外部专家请求帮助。然而，知道何时请求这种帮助是至关重要的：太少的请求可能导致机器人犯错，但太多的请求可能会使专家过载。在本文中，我们提出了一个基于强化学习的方法来解决这个问题，当一个半自主智能体对任务的最终成功信心不足时，它会请求外部帮助。置信水平通过估计当前状态的回报方差来计算。我们表明，这种估计可以在训练过程中使用Bellman递归迭代改进。在离散导航问题的完全和部分可观察的状态信息，我们表明，我们的方法有效地利用了有限的预算的专家调用在运行时，尽管没有访问的专家在训练时。
2023-03-14 cs.AI cs.LG cs.RO
How Much Do Unstated Problem Constraints Limit Deep Robotic Reinforcement Learning?
Rice University（莱斯大学）
深度强化学习是机器人控制的一种很有前途的范例，它已被证明能够学习未建模系统的高维连续控制策略。然而，RoboticReinforcement Learning目前缺乏明确定义的基准任务，这使得研究人员难以复制和与先前的工作进行比较。“Reacher”任务是机器人操作的基础，通常用作基准，但缺乏正式的规范忽略了对复制至关重要的细节。在本文中，我们提出了一种新的实证分析表明，在常用的实现Reacher任务的未声明的空间约束，使它更容易学习一个成功的控制策略与DeepDeterministic策略梯度（DDPG），一个国家的最先进的深度RL算法。我们的分析表明，约束较少的Reacher任务更难学习，因此现有的事实上的基准并不能代表一般机器人操作的难度。
2019-09-20 cs.AI cs.LG cs.RO
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland（奥克兰大学）；New Dexterity（新 Dexterity 研究机构）
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作，对三种RL算法在复杂手内操作任务上进行了基准测试，验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
