Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
近几十年来，手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点，可以为患者提供更短的恢复时间和更短的住院时间。然而，目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中，存在大量重复但简单的操作，这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明，该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Modeling Social Interaction for Baby in Simulated Environment for Developmental Robotics
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
特定于任务的人工智能智能体在不同领域都表现出了卓越的性能。但是，像人类智能这样的广义人工智能智能体建模将需要比当前数据集更多的东西，或者只需要基于奖励的环境，而不包括婴儿在其初始阶段收集的经验。在本文中，我们提出了模拟环境的发展机器人（SEDRo）。它模拟了人类婴儿从出生前胎儿阶段到出生后12个月所经历的婴儿代理环境。SEDRO还包括一个母亲角色，以提供与代理的社交互动。为了评估代理的不同发展里程碑，SEDRo结合了发展心理学的一些实验。
2020-12-29 cs.AI cs.RO
Botson: An Accessible and Low-Cost Platform for Social Robotics Research
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
Botson是一种基于大型语言模型的人形社会机器人，旨在为社会机器人研究提供低成本且易于获取的平台。
2026-02-23 cs.AI cs.HC cs.RO
Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们认为现实世界的强化学习（RL）的机器人操作任务，涉及视觉技能和接触丰富的技能。我们的目标是训练一个政策，映射多模态的感官观察（视觉和力）的机械手的关节速度下的实际考虑。我们建议使用离线样本来学习一组通用的价值函数（GVF），这些函数从视觉输入中做出反事实的预测。我们表明，结合离线学习的反事实预测与在线策略学习中的力反馈，可以有效的强化学习只给终端（成功/失败）奖励。我们认为，学习的反事实预测形成了一个紧凑的和信息丰富的表示，使样本效率，并提供辅助奖励信号，引导在线探索接触丰富的国家。在模拟和现实世界的设置进行了各种实验进行评估。真实世界的机器人训练记录可以通过https://sites.google.com/view/realrl找到。
2022-02-25 cs.AI cs.RO
Reinforcement Learning Experiments and Benchmark for Solving Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（Resero有限公司）；Universidad de León（莱昂大学）
强化学习在机器人领域显示出了巨大的潜力，这要归功于它通过自我训练开发高效机器人控制程序的能力。特别是，强化学习已经成功地应用于解决机器人手臂的到达任务。在本文中，我们定义了一个强大的，可重复的和系统的实验过程来比较各种无模型算法在解决这个任务的性能。这些策略在仿真中进行训练，然后转移到物理机器人操纵器上。结果表明，增加奖励信号与后见之明的经验重放探索技术增加了平均回报的关政策代理之间的7和9倍时，目标位置是随机初始化在每个情节的开始。
2020-11-11 cs.AI cs.LG cs.RO
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco（伯南布哥大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在机器人场景中处理社交任务是困难的，因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况，特别是涉及强化学习的模型。在这项工作中，我们讨论了这个问题和可能的解决方案，通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
RMBench: Benchmarking Deep Reinforcement Learning for Robotic Manipulator Control
Tsinghua University（清华大学）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Chengdu University of Information Technology（成都信息工程大学）
强化学习被应用于解决来自高维、感官输入的实际复杂任务。在过去的十年中，开发了一长串强化学习算法。最近的进展受益于原始感觉信号表示的深度学习。一个问题自然会出现：它们在不同的机器人操作任务中表现如何？基准测试使用客观的性能指标来提供一种科学的方法来比较算法。在本文中，我们提出了RMBench，机器人操作的第一个基准，它具有高维连续的动作和状态空间。我们实现和评估直接使用观察到的像素作为输入的强化学习算法。我们报告他们的平均表现和学习曲线，以显示他们的训练表现和稳定性。我们的研究得出结论，没有一个研究的算法可以很好地处理所有的任务，软演员评论家优于大多数算法的平均奖励和稳定性，和算法结合数据增强可能会促进学习策略。我们的代码在https：//github.com/xiangyanfei212/RMBench-2022上公开，包括所有基准测试任务和研究的算法。
2023-03-07 cs.AI cs.RO
Efficient Robotic Task Generalization Using Deep Model Fusion Reinforcement Learning
A*STAR Artificial Intelligence Initiative (A*AI)（新加坡科技研究局人工智能倡议（A*AI））；Institute of Information Research（信息研究院）；Institute of High Performance Computing（高性能计算研究院）
近年来，基于学习的方法已被用于编程机器人任务。然而，广泛的训练通常不仅需要初始任务的学习，而且还需要将学习到的模型推广到相同的任务，但在不同的环境中。在本文中，我们提出了一种新的深度强化学习算法，用于机器人任务学习问题中的有效任务泛化和环境适应。该方法能够有效地推广以前学习的任务模型融合，以解决环境适应问题。提出的深度模型融合（DMF）方法重用和合并了先前训练的模型，以提高学习效率和结果。此外，我们还引入了多目标指导奖励（MGR）整形技术，以进一步提高训练效率。在各种环境下，我们与先前的方法进行了基准测试，以验证其有效性。
2019-12-11 cs.AI cs.RO
Extending Group Relative Policy Optimization to Continuous Control: A Theoretical Framework for Robotic Reinforcement Learning
University of Houston（德克萨斯大学）；Cisco Systems（思科系统）；Princeton University（普林斯顿大学）；University of Copenhagen（哥本哈根大学）
针对 GRPO 难以用于机器人连续控制的问题，本文提出融合轨迹策略聚类、状态感知优势估计与正则化更新的理论扩展框架，并分析其收敛性与复杂度。
2025-07-25 cs.AI cs.RO
A Broad-persistent Advising Approach for Deep Interactive Reinforcement Learning in Robotic Environments
Deakin University（迪肯大学）
深度强化学习（DeepRL）方法已被广泛用于机器人技术中，以自主地学习环境并获取行为。深度交互式强化学习（DeepIRL）包括来自外部培训师或专家的交互式反馈，以帮助学习者选择行动来加快学习过程。然而，目前的研究仅限于提供可操作的建议，只有代理的当前状态的相互作用。此外，代理在单次使用后会丢弃信息，这会导致重新访问时处于相同状态的重复过程。在本文中，我们提出了广泛的持久性建议（BPA），一个广泛的持久性建议的方法，保留和重用处理后的信息。它不仅可以帮助训练者给出与类似状态相关的更一般的建议，而不仅仅是当前状态，而且还可以加快智能体的学习过程。我们测试所提出的方法在两个连续的机器人场景，即，一个车杆平衡任务和模拟机器人导航任务。所获得的结果表明，与DeepIRL方法相比，使用BPA的代理的性能得到了提高，同时保持了训练器所需的交互次数。
2021-11-18 cs.AI cs.RO
Improving Assistive Robotics with Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
辅助机器人（Assistive Robotics）是一类机器人技术，它帮助人类完成日常护理任务，这些任务可能由于残疾或年龄而被禁止。虽然研究表明，经典的控制方法可以用来设计策略来完成这些任务，这些方法可能很难推广到各种实例的任务。强化学习可以为这个问题提供一个解决方案，其中机器人在仿真中进行训练，并将其策略转移到现实世界的机器上。在这项工作中，我们复制了一个已发布的基线，用于在辅助健身房环境中训练机器人完成三项任务，并探索了使用递归神经网络和阶段性策略梯度学习来增强原始工作。我们的基线实现达到或超过了原始工作的基线，然而，我们发现我们对新方法的探索并没有我们预期的那么有效。我们讨论了基线的结果，以及为什么我们的新方法不那么成功的一些想法。
2022-11-08 cs.AI cs.RO
Learning Visual Tracking and Reaching with Deep Reinforcement Learning on a UR10e Robotic Arm
National Research Council of Canada（加拿大国家研究委员会）；Carleton University（卡尔顿大学）
针对工业机器人编程复杂、现有强化学习方法依赖仿真难以落地的问题，本研究在UR10e机械臂上搭建强化学习环境，对比训练深度Q学习与PPO智能体，发现PPO以更少数据学到更优稳定策略，相关代码已开源。
2023-08-28 cs.AI cs.RO
A Reference Software Architecture for Social Robots
University of Bologna（博洛尼亚大学）；ISTC-CNR（意大利国家研究委员会认知科学与技术研究所）；Innopolis University（因诺波利斯大学）
社会机器人技术对软件设计师提出了严峻的挑战，他们需要照顾到困难的架构驱动因素，如机器人的可接受性，信任，以及保证机器人与用户建立个性化的交互。此外，在这种情况下，经常出现的软件设计问题，如确保互操作性，提高软件组件的可重用性和可定制性也会出现。设计和实施社交机器人软件架构是一项时间密集型活动，需要多学科专业知识：这使得快速开发，定制和个性化机器人解决方案变得困难。这些挑战可以在设计时通过选择特定的架构风格、实现特定的架构模式和使用特定的技术来缓解。利用我们在MARIO项目中的经验，在本文中，我们提出了一系列社交机器人可能受益的原则。这些原则也为社交机器人的参考软件架构的设计奠定了基础。这项工作的最终目标是建立一个基于参考软件架构的共同点，以便轻松地重用机器人软件组件，从而快速开发，实施和个性化社交机器人。
2020-07-09 cs.AI cs.RO
Deep Reinforcement Learning for Robotic Manipulation-The state of the art
Carnegie Mellon University（卡内基梅隆大学）
这项工作的重点是列举各种方法和算法，围绕强化学习在机器人制造任务中的应用。早期的方法利用专门的策略表示和人工演示来压缩策略。这些方法可以很好地处理机器人的连续状态和策略空间，但无法提出广义策略。随后，像神经网络这样的高维非线性函数逼近器被用来从头开始学习策略。几种新的和最近的方法还使用深度学习嵌入了具有有效感知表示的控制策略。这导致了动态机器人控制系统的一个新分支的出现，称为深度学习（DRL）。这项工作体现了最新的算法，架构及其在模拟和现实世界的机器人平台的实施调查。DRL体系结构的范围被划分为两个不同的分支，即离散动作空间算法（DAS）和连续动作空间算法（CAS）。进一步地，CAS算法被分为随机连续动作空间（SCAS）和确定性连续动作空间（DCAS）算法。除了阐明DRL算法的组织化之外，这项工作还体现了这些方法在机器人操作任务中的一些最新应用。
2017-01-31 cs.AI cs.RO
Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback
Autonomous Systems Lab (ASL), Institute for Electrical Engineering in Medicine, University of Lübeck（自主系统实验室（ASL）、医学电气工程学院、吕贝克大学）
本文提出一种基于世界模型反馈的在线持续强化学习方法，通过检测分布外事件自动触发微调，实现机器人智能体在运行过程中的自适应能力。
2026-03-04 cs.AI cs.RO
SoLo T-DIRL: Socially-Aware Dynamic Local Planner based on Trajectory-Ranked Deep Inverse Reinforcement Learning
University of Michigan（密歇根大学）
这项工作提出了一个新的框架，社会意识的动态本地规划在拥挤的环境中建立在最近提出的轨迹排名最大熵深度逆强化学习（T-MEDIRL）。为了解决社交导航问题，我们的多模态学习规划器明确地将社交互动因素以及社交意识因素考虑到T-MEDIRL管道中，以从人类演示中学习奖励函数。此外，我们提出了一种新的轨迹排名分数使用周围的机器人行人的突然速度变化，以解决次优人类示范。我们的评估表明，该方法可以成功地使机器人在拥挤的社会环境中导航，并在成功率，导航时间和入侵率方面优于最先进的社会导航方法。
2022-09-16 cs.AI cs.RO
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich（慕尼黑工业大学）
深度强化学习（RL）在机械手的运动规划中已经显示出有希望的结果。然而，没有方法保证高度动态的障碍物，如人类，在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此，我们提出了一种屏蔽机制，确保ISO验证的人类安全，同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析，以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
Benchmarking Deep Reinforcement Learning Algorithms for Vision-based Robotics
Edge Hill University（边山大学）
本文提出了一个基准研究的一些国家的最先进的强化学习算法用于解决两个模拟的基于视觉的机器人问题。在这项研究中考虑的算法包括软演员批评（SAC），近端策略优化（PPO），内插策略梯度（IPG），和他们的变种与后见之明经验重放（HER）。这些算法的性能进行比较PyBullet的两个仿真环境称为KukaDiverseObjectEnv和RacecarZEDGymEnv分别。这些环境中的状态观测以RGB图像的形式提供，并且动作空间是连续的，这使得它们难以求解。提出了一些策略，以提供实施HER算法对这些问题，这基本上是单目标环境所需的中间事后目标。此外，提出了一些特征提取架构，将空间和时间的注意力在学习过程中。通过严格的模拟实验，这些组件实现的改善。据我们所知，这样的基准研究是不适用于上述两个基于视觉的机器人问题，使其在该领域的一个新的贡献。
2022-01-11 cs.AI cs.RO
Towards a Sample Efficient Reinforcement Learning Pipeline for Vision Based Robotics
MINES ParisTech, PSL Research University（巴黎高等矿业学院，巴黎文理研究大学）
深度强化学习保证了自我管理的机器人能够掌握大量的行为能力，而人类的干预可以忽略不计。这项技术带来的改进使机器人能够执行困难的任务，如抓取或到达目标。然而，训练过程仍然是耗时和繁琐的，特别是当仅使用RGB相机信息学习策略时。这种学习方式是将任务从模拟转移到现实世界的资本，因为机器人在现实生活中唯一的外部信息来源是视频。在本文中，我们研究如何限制训练机器人手臂的时间与6自由度（DOF），达到一个球从头组装管道尽可能有效。该流水线分为两个部分：第一部分是用计算机视觉算法从RGB视频中捕获相关信息。第二个研究如何更快地训练深度强化学习算法，以使机器人手臂到达他面前的目标。点击此链接查找更高分辨率的视频和绘图：\url{https://drive.google.com/drive/folders/1_lRlDSoPzd_GTcVrxNip10o_lm-_DPdn?usp=sharing}
2021-05-20 cs.AI cs.RO
Boosting Deep Reinforcement Learning with Semantic Knowledge for Robotic Manipulators
Institute for Research in Technology (IIT), ICAI School of Engineering, Comillas Pontifical University（研究技术研究所（IIT）、ICAI工程学院、科利马斯天主教大学）；University of Basilicata（巴利卡塔大学）；Sapienza University of Rome（罗马萨皮恩扎大学）
本文提出通过整合语义知识图嵌入提升机器人操作机深度强化学习效率，实验显示学习时间减少60%且任务准确性提升15个百分点。
2026-01-23 cs.AI cs.RO
Optimizing Deep Reinforcement Learning for Adaptive Robotic Arm Control
School of Computer Science, University of Galway（计算机科学学院，Galway大学）
本文通过TPE优化SAC和PPO算法的超参数，显著提升了七自由度机械臂控制任务的算法性能和训练效率。
2024-06-12 cs.AI cs.RO
Variational Meta Reinforcement Learning for Social Robotics
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LJK（LJK实验室）
本文提出变分元强化学习与径向基函数层，使社交机器人能快速适应新环境的奖励函数并缓解后验坍缩，在四个仿真任务中验证了其有效性。
2023-08-03 cs.AI cs.RO
Robotic Arm Control and Task Training through Deep Reinforcement Learning
University of Padova（帕多瓦大学）
本文提出了信任域策略优化和具有归一化优势函数的DeepQ网络与其他最先进的算法（即深度确定性策略梯度和Vanilla策略梯度）的详细和广泛的比较。比较表明，前者有更好的性能比后者要求机械臂完成操作任务，如达到一个随机的目标位姿和拾取和放置一个对象。提供了模拟和真实世界的实验。仿真让我们展示了我们采用的精确估计算法超参数和正确设计良好策略的过程。真实世界的实验表明，我们的策略，如果正确的模拟训练，可以在真实环境中传输和执行，几乎没有变化。
2020-05-06 cs.AI cs.RO
Explainable robotic systems: Understanding goal-driven actions in a reinforcement learning scenario
Deakin University（迪肯大学）；Federation University（澳大利亚联邦大学）；Universidad Central de Chile（智利中央大学）
机器人系统每天都在我们的社会中出现。在人机环境中，最终用户正确理解他们的机器人团队合作伙伴，以便协作完成任务是至关重要的。为了提高对动作的理解，用户要求机器人在特定情况下做出更多的决策。最近，可解释的机器人系统已经成为一种替代方案，不仅专注于令人满意地完成任务，而且还以类似人类的方式证明导致做出决定的原因。在强化学习场景中，大量的努力集中在使用数据驱动的方法提供解释，特别是从基于深度学习的系统中的视觉输入模态。在这项工作中，我们专注于强化学习代理在机器人场景中执行任务的决策过程。使用3种不同的设置，即，确定性导航任务，随机导航任务，和一个连续的基于视觉的排序对象任务的实验结果。作为一种解释目标驱动的机器人的行动，我们使用三种不同的方法计算成功的概率：基于记忆，基于学习，和基于内省。这些方法之间的区别在于计算或估计成功概率所需的内存量以及可以使用它们的强化学习表示类型。在这方面，我们使用基于记忆的方法作为基线，因为它是直接从代理的观察。当比较基于学习和基于内省的方法，这个基线，两者都被发现是合适的替代品来计算成功的概率，获得高水平的相似性比较时，使用皮尔逊相关性和均方误差。
2021-09-02 cs.AI cs.RO
Transferring Adaptive Theory of Mind to social robots: insights from developmental psychology to robotics
University of Essex（埃塞克斯大学）
尽管最近在社会机器人领域取得了进展，但重要的限制限制了它的进步，并推迟了机器人在日常场景中的应用。在本文中，我们提出了发展计算模型的启发，我们的知识，人类婴儿的社会适应能力。我们相信这可以在架构层面提供解决方案，以克服当前系统的限制。具体来说，我们提出了自适应心理理论（ToM）系统在机器人技术中支持的功能优势（即，为信念理解、主动性和准备、主动感知和学习进行心理化），并将其置于实际应用的背景中。我们回顾目前的计算模型主要是基于模拟和目的论的理论，和机器人的实现，以确定在当前的机器人架构的ToM功能的局限性，并提出了一个可能的未来发展途径。最后，我们提出了未来的研究，以创建创新的计算模型集成性能的仿真和目的论的方法，以提高机器人的自适应ToM能力，其目的是增强人与机器人的互动，并允许在未开发的环境，如灾难和建筑工地的机器人的应用。为了实现这一目标，我们建议将未来的研究导向机器人和发展心理学领域之间的现代串扰。
2019-08-31 cs.AI cs.HC cs.RO
Self-Refined Large Language Model as Automated Reward Function Designer for Deep Reinforcement Learning in Robotics
University of Alberta（阿尔伯塔大学）；Nanjing University（南京大学）；The University of Tokyo（东京大学）
本文提出带自我精炼机制的LLM框架，依据自然语言自动生成并迭代优化DRL奖励函数，在三类机器人连续控制任务中达到或超过人工设计水平。
2023-10-02 cs.AI cs.RO
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI（开放人工智能研究中心）
本技术报告的目的是双重的。首先，它介绍了一套具有挑战性的连续控制任务（与OpenAI Gym集成），基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动，滑动和拾取放置，以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励，并遵循多目标强化学习（RL）框架，其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路，其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Comparing Popular Simulation Environments in the Scope of Robotics and Reinforcement Learning
German Aerospace Center (DLR)（德国航空航天中心）；ZAL Center of Applied Aeronautical Research（ZAL应用航空研究中心）
这封信通过一系列基准测试比较了四种不同的、流行的机器人和强化学习（RL）仿真环境的性能。基准场景是根据当前的工业应用精心设计的。考虑到需要尽可能快地运行模拟以减少RL代理的真实训练时间，比较不仅包括不同的模拟环境，还包括不同的硬件配置，从入门级笔记本电脑到双CPU高性能服务器。我们表明，选择的模拟环境受益最多的单核性能。然而，使用多核系统，可以并行运行多个模拟以提高性能。
2021-03-08 cs.AI cs.LG cs.RO
Ethics for social robotics: A critical analysis
Facultat de Filosofia, Universitat de Barcelona (UB)（巴塞罗那大学哲学系）
社会机器人技术在医疗实践中的发展以及欧洲将这些基于人工智能的系统纳入机构医疗环境的前景，迫切需要进行伦理反思，以根据人类价值观和权利来（重新）配置我们的实际生活。尽管社会机器人的伦理影响越来越受到关注，但目前关于其中心分支之一社会辅助机器人（SAR）的辩论依赖于一种贫困的伦理方法。本文介绍和审查这种流行的方法，这已被确定为一个关键的文献综述的结果的一些趋势。基于对一个代表性案例的分析，伦理反思是如何被引向社会机器人的，一些未来的研究路线的概述，这可能有助于重新构建和深化其伦理含义。
2022-07-25 cs.CY cs.RO
Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文提供了一个初步的报告，同时将人类控制和反馈信号的训练强化学习机器人代理的优点和缺点。虽然机器人人机界面在形式和功能上都变得越来越复杂，但控制对用户来说仍然是一个挑战。这导致用户控制方法与可控制的机器人电机数量之间的差距越来越大。解决这一差距的一种方法是将一些自主权转移给机器人。然后，机器人代理的半自主动作可以通过人类反馈来塑造，从而简化用户控制。大多数关于人类智能体塑造的先前工作都将训练与反馈结合起来，或者包括间接控制信号。相比之下，在本文中，我们将探讨如何一个人可以提供并发的反馈信号和实时肌电控制信号训练机器人的演员评论强化学习控制系统。使用物理和模拟的机器人系统，我们比较一个简单的运动任务的训练性能时，奖励是来自环境，奖励是由人类提供的，以及这两种方法的组合。我们的研究结果表明，一些好处，可以获得与包括人类产生的反馈。
2016-06-22 cs.AI cs.HC cs.RO
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University（东北大学）
强化学习（Reinforcement learning，RL）是空间机器人领域中一个很有前途的研究领域，它可以提高机器人的自主性和决策能力，但由于环境的随机性和不确定性，传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索，很少有人类反馈，更快，更安全的月球表面运动或多机器人系统的协调和协作。然而，使用RL和机器学习的空间机器人应用研究面临许多障碍，特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台，称为强化学习，用于基于仿真的机器人训练，或RL STaR，有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台，以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University（斯坦福大学）
多任务学习理想地允许机器人获得各种有用的技能。然而，许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上，机器人学习的任务是顺序到达的，这取决于用户和机器人当前的环境。在这项工作中，我们研究了一个实际的顺序多任务RL问题，该问题的动机是物理机器人系统的实际约束，并推导出一种方法，有效地利用以前的任务学习的数据和政策，以累积增长机器人的技能。在一系列的模拟机器人操作实验中，我们的方法需要不到一半的样本比从头开始学习每个任务，同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上，我们的方法逐步学习十项具有挑战性的任务，包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics（Acutronic机器人技术公司）
我们提出了一个新的框架，深度强化学习（DRL）模块化机器人训练机器人直接从关节状态，使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化，信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策，在四个不同的模块化关节机械臂（MARA）环境。我们使用与机器人中使用的典型工具（如Gazebo和Robot操作系统2（ROS 2））通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
AR3n: A Reinforcement Learning-based Assist-As-Needed Controller for Robotic Rehabilitation
Target（塔吉特公司）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
本文提出基于强化学习的按需辅助控制器AR3n，利用虚拟患者模型实现跨受试者泛化，在机器人辅助手写康复中根据跟踪误差实时调节辅助并最小化辅助量，通过仿真与人体实验验证其有效性。
2023-04-17 cs.AI cs.LG cs.RO
Towards a Robotic Intrusion Prevention System: Combining Security and Safety in Cognitive Social Robots
Intelligent Robotics Lab, Rey Juan Carlos University（智能机器人实验室，雷焦卡洛斯大学）；HoneComp, Rey Juan Carlos University（HoneComp，雷焦卡洛斯大学）
针对认知社交机器人的网络安全与功能安全协同问题，提出RIPS在通信层检测威胁并借助System Mones限制受侵功能，且在真实机器人攻击场景中验证其可保护人类隐私与安全。
2024-07-09 cs.RO
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University（麦吉尔大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种算法，有效地学习社会兼容的导航政策，从人类轨迹的观察。随着移动机器人进入社交空间，它们必须考虑社交线索，并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法，该算法从人类轨迹观察中学习，而不知道他们的具体行动。我们通过利用重放缓冲区的概念（在许多非策略强化学习方法中发现）来消除与逆强化学习相关的额外样本复杂性，从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集，并将其与相关方法进行比较。我们表明，我们的方法产生更好的性能，同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
A Systematic Literature Review of Experiments in Socially Assistive Robotics using Humanoid Robots
University of Tsukuba（筑波大学）
我们进行了系统的文献综述，以发现人形机器人是如何被应用于社会辅助机器人实验。我们检索了24篇论文，其中16篇被纳入进行更深入的分析。为了进行这种分析，我们使用了一个受基于行为的机器人启发的概念框架。我们想知道是哪个机器人（大多数使用机器人NAO），应用程序的目标是什么（教学，协助，演奏，指导），如何控制机器人（在大多数实验中手动），机器人表现出什么样的行为（对触摸做出反应，指向身体部位，唱歌，跳舞，等等），机器人使用了什么样的执行器（总是电机，有时扬声器，几乎没有任何其他类型的致动器）和机器人使用什么类型的传感器（在许多研究中，机器人根本不使用任何传感器，在其他研究中，机器人经常使用相机和/或麦克风）。本研究的结果可用于设计针对类人社会辅助机器人的软件框架，特别是在软件产品线工程项目的背景下。
2017-11-15 cs.RO
Importance of Environment Design in Reinforcement Learning: A Study of a Robotic Environment
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
对特定环境的深入理解在强化学习（RL）中至关重要。为了解决这一问题，本文研究了移动协作机器人助手的决策过程建模的马尔可夫决策过程（MDP）框架。利用非线性贝尔曼最优性方程计算了MDP的最优状态-动作组合。这个方程组可以通过Wolfram Mathematica的计算能力相对容易地求解，其中获得的最佳动作值指向最佳策略。与其他RL算法不同，该方法不近似最优行为，它给出了精确的，显式的解决方案，这为我们的研究提供了坚实的基础。有了这个，我们提供了新的见解来理解RL中的动作选择机制，通过提出各种小的修改，导致不同的最优策略的非常相同的模式。
2021-06-28 cs.AI cs.LG cs.RO
What Can Robots Teach Us About Trust and Reliance? An interdisciplinary dialogue between Social Sciences and Social Robotics
CY Cergy Paris University（赛尔吉巴黎大学）；ENSEA（法国高等电力学院）；CNRS（法国国家科学研究中心）；Université Paris 8（巴黎第八大学）；Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）
本文主张融合社会科学与社会机器人学视角，通过跨学科对话探讨人机交互中信任的形成、检验与显现，以构建更扎实且适应性强的信任理解框架。
2025-07-17 cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Evaluating Reinforcement Learning Algorithms for Navigation in Simulated Robotic Quadrupeds: A Comparative Study Inspired by Guide Dog Behaviour
University of Hertfordshire（赫特福德大学）
本研究比较了PPO、DQN和Q学习三种强化学习算法在模拟四足机器人导航与避障中的表现，发现PPO在所有指标上最优，为开发机器人导盲犬及医疗辅助机器人提供了依据。
2025-07-17 cs.AI cs.LG cs.RO
Deep Dive into Model-free Reinforcement Learning for Biological and Robotic Systems: Theory and Practice
University of Southern California（南加州大学）；Google Deep Mind（谷歌深度思维）；Fauna Robotics（Fauna机器人公司）
本文阐述无模型深度强化学习（尤其是 actor-critic 方法）的数学与算法基础，展示其如何用于获取感觉运动策略，并研究生物及机器人行为背后的具身反馈控制规律。
2024-05-19 cs.AI cs.LG cs.RO
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg（弗赖堡大学）
本文综述了深度学习在机器人学习控制中的应用，探讨了深度强化学习和模仿学习两大主流方法，分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行，但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中，我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合，强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym，并消除了管理物理机器人系统的负担，将其抽象为熟悉的API。我们介绍了一个导航任务，机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入，并提供基线结果在真实的环境和模拟副本。要开始培训，请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
How Much Do Unstated Problem Constraints Limit Deep Robotic Reinforcement Learning?
Rice University（莱斯大学）
深度强化学习是机器人控制的一种很有前途的范例，它已被证明能够学习未建模系统的高维连续控制策略。然而，RoboticReinforcement Learning目前缺乏明确定义的基准任务，这使得研究人员难以复制和与先前的工作进行比较。“Reacher”任务是机器人操作的基础，通常用作基准，但缺乏正式的规范忽略了对复制至关重要的细节。在本文中，我们提出了一种新的实证分析表明，在常用的实现Reacher任务的未声明的空间约束，使它更容易学习一个成功的控制策略与DeepDeterministic策略梯度（DDPG），一个国家的最先进的深度RL算法。我们的分析表明，约束较少的Reacher任务更难学习，因此现有的事实上的基准并不能代表一般机器人操作的难度。
2019-09-20 cs.AI cs.LG cs.RO
RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
针对机器人通用策略训练数据质量限制性能的问题，提出RLDG方法，用强化学习生成高质量数据微调通用策略，在真实精密操作任务中成功率最高提升40%且泛化性更好，为开发兼具灵活性与高性能的机器人系统提供新路径。
2024-12-13 cs.AI cs.LG cs.RO
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)（仿生机器人与人工智能实验室（BRAIL））
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题，提出基于强化学习并结合域随机化的自主控制流程，在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control
University of Science and Technology of China（中国科学技术大学）；Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学网络空间先进技术研究院）
传统上，强化学习方法基于当前状态预测下一个动作。然而，在许多情况下，直接将动作应用于控制系统或机器人是危险的，并且可能导致意外的行为，因为动作是相当低级别的。在本文中，我们提出了一个新的分层强化学习框架没有明确的行动。我们的Meta策略试图操纵下一个最优状态，实际行动是由逆动力学模型产生的。为了稳定训练过程，我们将对抗学习和信息瓶颈集成到我们的框架中。在我们的框架下，广泛可用的状态只有示范可以有效地利用模仿学习。此外，先验知识和约束可以应用于Meta策略。我们在模拟任务中测试了我们的算法，并将其与模仿学习相结合。实验结果表明了算法的可靠性和鲁棒性。
2020-11-02 cs.AI cs.LG cs.RO
Off-Policy Deep Reinforcement Learning Algorithms for Handling Various Robotic Manipulator Tasks
Ozyegin University（厄兹耶金大学）；Istinye University（伊斯坦布尔阿依登大学）
为了避免传统的控制方法由于系统的复杂性和对数据密度的强烈要求而造成的障碍，需要开发现代和更有效的控制方法。通过这种方式，强化学习脱离策略和无模型算法有助于避免使用复杂的模型。在速度和准确性方面，它们成为突出的方法，因为算法使用它们过去的经验来学习最优策略。在这项研究中，三个强化学习算法; DDPG，TD 3和SAC已被用于训练取机器人机械手在MuJoCo仿真环境中的四个不同的任务。所有这些算法都是非策略的，能够通过优化策略函数和价值函数来达到预期的目标。在当前的研究中，这三种算法的效率和速度进行了分析，在受控环境。
2022-12-11 cs.AI cs.LG cs.RO
Robot Accident Investigation: a case study in Responsible Robotics
Bristol Robotics Lab（布里斯托尔机器人实验室）；UWE Bristol（西英格兰大学布里斯托尔分校）；University of Oxford（牛津大学）；University of Nottingham（诺丁汉大学）
机器人事故不可避免。虽然很少见，但自从20世纪60年代装配线机器人首次引入以来，这种情况就一直在发生。但新一代的社交机器人现在正变得司空见惯。通常，复杂的嵌入式人工智能（AI）社交机器人可能被部署为护理机器人，以帮助老年人或残疾人独立生活。智能机器人玩具为儿童提供了令人信服的互动游戏体验，自动驾驶汽车（AV）的功能越来越强大，有望实现免提个人交通工具和全自动出租车。与部署在安全笼中的工业机器人不同，社交机器人被设计为在人类环境中运行并与人类密切互动;因此，社交机器人发生事故的可能性比工业机器人大得多。本文提出了一个社会机器人事故调查的框架草案;该框架提出了一种技术和流程，可以让社会机器人事故的调查不亚于我们对航空或铁路事故调查的期望。本文还将事故调查置于负责任的机器人实践中，并认为没有事故调查的社会机器人与没有航空事故调查的航空一样不负责任。
2020-05-15 cs.RO
Decision Making for Human-in-the-loop Robotic Agents via Uncertainty-Aware Reinforcement Learning
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
在人在回路范例中，机器人代理能够在解决任务时大部分自主行动，但可以在需要时向外部专家请求帮助。然而，知道何时请求这种帮助是至关重要的：太少的请求可能导致机器人犯错，但太多的请求可能会使专家过载。在本文中，我们提出了一个基于强化学习的方法来解决这个问题，当一个半自主智能体对任务的最终成功信心不足时，它会请求外部帮助。置信水平通过估计当前状态的回报方差来计算。我们表明，这种估计可以在训练过程中使用Bellman递归迭代改进。在离散导航问题的完全和部分可观察的状态信息，我们表明，我们的方法有效地利用了有限的预算的专家调用在运行时，尽管没有访问的专家在训练时。
2023-03-14 cs.AI cs.LG cs.RO
