Deep Reinforcement Learning for the Control of Robotic Manipulation: A Focussed Mini-Review
ICube Lab Robotics Department Strasbourg University UMR 7357 CNRS(斯特拉斯堡大学ICube实验室机器人系 UMR 7357 CNRS);ICube Lab UMR 7357 Centre National de la Recherche Scientifique CNRS(ICube实验室 UMR 7357 法国国家科学研究中心)
深度学习提供了操纵、处理和分析数据的新方法。它有时可能达到与人类专家表现相当或超过人类专家表现的结果,并已成为人工智能时代的灵感来源。机器学习的另一个子领域称为强化学习,试图通过与环境的交互来找到最佳行为策略。结合深度学习和强化学习可以解决与稀疏奖励信号任务(如机器人操作和控制任务)中数据的维度和可扩展性相关的关键问题,这两种方法都不允许单独应用。本文介绍了深度强化学习算法的最新进展,这些算法试图解决机器人操作控制领域的应用问题,如样本效率和泛化能力。尽管有这些不断的改进,目前,学习强大的和通用的操作技能的机器人与深度强化学习的挑战仍然远远没有解决现实世界的应用。
2021-02-08 cs.RO
A review on cloud robotics based frameworks to solve simultaneous localization and mapping (slam) problem
National Institute of Technology, Raipur(印度国立理工学院赖布尔分校);Motilal Nehru National Institute of Technology, Allahabad(莫蒂拉尔·尼赫鲁国立理工学院阿拉哈巴德分校);Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
云机器人是机器人技术的新兴领域之一。由于其对机器人技术的直接实际影响,它引起了很多关注。在云机器人技术中,云计算的概念用于将机器人的计算性大量工作卸载到云。除此之外,还可以根据需要为机器人提供额外的功能。同时定位与地图构建(SLAM)是机器人技术中的一种计算密集型算法,用于机器人在未知环境中进行导航和地图构建。几个基于云的框架被提出来专门解决SLAM的问题,DAvinCi,Rapyuta和C2TAM是其中的一些框架。在本文中,我们提出了一个详细的审查所有这些框架实现的SLAM问题。
2017-01-29 cs.RO
Robotic Exploration for Mapping
University of California, San Diego(加州大学圣地亚哥分校);Contextual Robotics Institute(情境机器人研究所)
本文综述机器人探索、自主导航与传感器技术的最新研究进展,重点讨论面向无人载具、用于未知区域建图的机器人探索算法及其典型应用。
2023-07-17 cs.RO
Where-to-Learn: Analytical Policy Gradient Directed Exploration for On-Policy Robotic Reinforcement Learning
本文提出利用可微动力学模型的分析性策略梯度,引导机器人强化学习探索更优轨迹,提升策略学习效率和质量。
2026-04-01 cs.RO
Automatic Parameter Optimization Using Genetic Algorithm in Deep Reinforcement Learning for Robotic Manipulation Tasks
University of Nevada, Reno(内华达大学雷诺分校)
学习代理可以利用强化学习(RL)通过使用奖励函数来决定它们的动作。然而,学习算法中使用的超参数值的选择对学习过程有很大的影响。本文提出了一种基于深度确定性策略梯度(DDPG)和后见之明经验重放(HER)的方法,该方法利用遗传算法(GA)对超参数值进行微调。该方法(GA+DDPG+HER)在六个机器人操作任务上进行了实验:FetchReach; FetchSlide; FetchPush; FetchPickAndPlace; DoorOpening;和AuboReach。对这些结果的分析表明,性能显著提高,学习时间减少。此外,我们比较并提供证据,GA+DDPG+HER是优于现有的方法。
2022-11-02 cs.RO
Agile Robotics: Optimal Control, Reinforcement Learning, and Differentiable Simulation
University of Zurich(苏黎世大学)
本文围绕如何提升自主机器人在极限任务中的敏捷性并保持抗扰鲁棒性,提出融合最优控制、强化学习与可微仿真的控制算法设计思路。
2024-05-25 cs.RO
Robotic Grasping using Deep Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
在这项工作中,我们提出了一种基于深度强化学习的方法来解决机器人抓取问题,使用机器人电机反馈。基于深度学习的方法的使用降低了由使用手工设计的特征引起的复杂性。我们的方法使用一个离政策强化学习框架来学习抓取政策。我们使用双深度Q学习框架和一个新的Grasp-Q-Network来输出抓取概率,用于学习抓取,以最大限度地提高抓取成功率。我们提出了一个视觉伺服机制,使用多视图摄像机设置,观察包含感兴趣的对象的场景。我们使用Baxter Gazebo模拟环境以及实际机器人进行实验。结果表明,我们提出的方法优于基线Q学习框架,并通过适应多视图模型相比,单视图模型,提高了抓取精度。
2020-07-09 cs.RO
Reinforcement Learning on Variable Impedance Controller for High-Precision Robotic Assembly
University of California, Berkeley(加州大学伯克利分校);Siemens Corporate Technology(西门子公司技术部);Technion(以色列理工学院)
精确的机器人操作技能在许多工业环境中是期望的,强化学习(RL)方法有望自主地获得这些技能。在本文中,我们明确考虑将操作空间力/扭矩信息纳入强化学习;这是由人类将感知力映射到控制动作,从而以相当容易的方式完成高精度任务。我们的方法结合RL与力/扭矩信息,通过将一个适当的操作空间力控制器,我们还利用不同的消融处理这些信息。此外,我们提出了一个神经网络架构,推广到合理的变化的环境。我们在开源的西门子机器人学习挑战赛上评估了我们的方法,该挑战赛需要精确和微妙的力控制行为来组装紧密配合的齿轮组。
2019-03-20 cs.RO
Efficient Reinforcement Learning of Task Planners for Robotic Palletization through Iterative Action Masking Learning
University of California, Berkeley(加州大学伯克利分校);the Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学)
针对机器人码垛任务规划中动作空间过大的问题,本文提出利用监督学习迭代剪枝和管理动作空间,从而提升强化学习的训练效率、规划有效性与可靠性。
2024-04-07 cs.RO
Learning to Crawl: Latent Model-Based Reinforcement Learning for Soft Robotic Adaptive Locomotion
Embodied Learning and Intelligence for eXploration and Innovative soft Robotics (ELIXIR) Lab(具身学习与智能探索与创新软机器人实验室)
针对软体爬行机器人的控制难题,提出基于潜在动力学的模型强化学习框架,利用传感器推断潜在动力学指导演员-评论家算法,在仿真中实现自适应运动。
2025-10-07 cs.RO
Reinforcement Learning for Solving Robotic Reaching Tasks in the Neurorobotics Platform
Technical University of Munich(慕尼黑工业大学)
本文针对神经机器人平台仿真中的6自由度机器人随机目标到达任务,对比多种无模型强化学习算法,验证了带合适动态调度函数的课程学习可提升图像输入等复杂场景下的训练效率与效果。
2022-10-31 cs.RO
Autonomous Aerial Robotic Surveying and Mapping with Application to Construction Operations
University of Nevada, Reno(内华达大学雷诺分校)
在本文中,我们提出了一个概述的方法和系统,产生一个飞行机器人系统能够自主检查,测量,全面的多模式映射和库存跟踪的建筑工地具有高度的系统性。机器人系统可以在假设没有环境的先验知识或通过集成环境的先验模型的情况下操作。在第一种情况下,提供自主探索,其返回与颜色和热视觉信息相关联的高保真度$3\textrm{D}$图。在第二种情况下,可以使用结构的先验模型来提供优化的和重复的覆盖路径。机器人自动提供其映射结果,同时能够检测和定位感兴趣的对象,从而支持库存跟踪任务。该系统已在一系列环境中进行了现场验证,并在一个与公共住房有关的建设项目中进行了测试。
2020-05-09 cs.RO
Impact of Static Friction on Sim2Real in Robotic Reinforcement Learning
Lenovo Research Shanghai(联想研究院上海分部)
针对机器人强化学习中静摩擦力导致的Sim2Real迁移难题,提出感知静摩擦力的域随机化方法及降低学习复杂度的方案,实验证明其优于传统方法和Actuator Net。
2025-03-03 cs.RO
Reinforcement Learning with Time-dependent Goals for Robotic Musicians
University of Hamburg(汉堡大学)
强化学习是一种很有前途的机器人控制方法。然而,演奏乐器的任务在很大程度上是未被探索的,因为它涉及到实现具有时间维度的连续目标-旋律-的挑战。在本文中,我们解决机器人音乐通过引入一个时间扩展目标条件强化学习:时间依赖性目标。我们证明,这些可以用来训练机器人音乐家发挥特雷门乐器。我们训练机器人代理在模拟和转让收购的政策,以现实世界的机器人thereminist。补充视频:https://youtu.be/jvC9mPzdQN4
2020-11-11 cs.AI cs.RO
Steering Generative Reinforcement Learning into Stable Robotic Controller
ShanghaiTech University(上海科技大学)
提出SteerGenPO框架,通过潜在空间强化学习将训练好的生成式策略转化为鲁棒的确定性机器人控制器,在Isaac Lab和Unitree G1任务上优于基线方法,实现更稳定的推理行为。
2026-06-16 cs.RO
A Concise Introduction to Reinforcement Learning in Robotics
PES University(PES大学)
机器人技术面临的最大障碍之一是复杂和难以工程化的行为。强化学习提供了一套工具和框架来解决这个问题。与此同时,机器人技术的疑虑为强化学习的进步提供了坚实的试验场和评估指标。这两个学科齐头并进,就像数学和物理领域一样。通过这篇调查论文,我们的目标是通过关注机器人的机车和控制方面的强化学习所做的工作,来加强这两个学科的研究社区之间的联系。此外,我们的目标不仅是突出显着的成功,但也强化学习在机器人技术中的应用的关键挑战。本文旨在为强化学习应用于机器人领域的研究人员提供参考指南。文献调查是在一个相当入门的水平,旨在有抱负的研究人员。适当地,我们已经涵盖了强化学习领域研究所需的最基本的概念,并考虑到机器人技术。通过对这个问题的深入分析,我们能够证明强化学习是如何被有效应用的,并且还关注开放式问题以及未来研究的潜力。
2022-10-13 cs.AI cs.RO
Variable Time Step Reinforcement Learning for Robotic Applications
Polytechnique Montréal(蒙特利尔理工学院)
本文提出MOSEAC方法实现可变时间步长强化学习,通过自适应控制频率在必要时才执行动作,并在仿真和真实机器人上验证了其收敛更快、训练效果更好且能耗更低。
2024-06-29 cs.RO
LiDAR-based SLAM for robotic mapping: state of the art and new frontiers
College of Engineering and Design, Hunan Normal University(湖南师范大学工程与设计学院);Tsinghua Automotive Research Institute(清华大学汽车工程研究院)
本文系统综述了基于LiDAR的SLAM技术最新进展,重点梳理不同LiDAR类型与配置的应用,并提供代表性算法比较,进而展望该领域的新前沿与待解挑战。
2023-11-01 cs.RO
A Comparison Between Joint Space and Task Space Mappings for Dynamic Teleoperation of an Anthropomorphic Robotic Arm in Reaction Tests
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
远程操作(即,控制具有人的运动的机器人)在使人形机器人能够像人一样动态地移动方面证明是有希望的。但如何将人类运动映射到人形机器人很重要,因为人类和人形机器人很少有相同的拓扑结构和尺寸。这项工作提出了一个实验研究,利用反应测试,比较拟议的关节空间映射和拟议的任务空间映射的动态遥操作的拟人机器人手臂,具有人类水平的动态运动能力。实验结果表明,机器人实现了类似的,在某些情况下,人类水平的动态性能与映射的六个参与人类受试者。所有的科目成为熟练的遥控机器人与两个映射实践后,尽管科目和机器人的大小和链接长度比不同,遥控操作需要的科目移动不直观。然而,大多数受试者开发他们的遥操作更快地与任务空间映射比联合空间映射后,类似的实践量。这项研究还表明了潜在的价值的三维任务空间映射,遥操作训练模拟器,和力反馈给人类飞行员直观和动态遥操作的人形机器人的手臂。
2020-11-04 cs.RO
GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达);University of Copenhagen(哥本哈根大学)
大多数深度强化学习(Deep RL)算法需要大量的训练样本来学习复杂的任务。最近许多加速深度强化学习的工作都集中在分布式训练和模拟上。虽然分布式训练通常在GPU上完成,但模拟不是。在这项工作中,我们建议使用GPU加速的RL模拟作为CPU模拟的替代方案。使用NVIDIA Flex,一个基于GPU的物理引擎,我们展示了学习各种连续控制,运动任务的有前途的速度。使用一个GPU和CPU核心,我们能够在不到20分钟的时间内训练Humanoid运行任务,使用的CPU核心比以前的作品少10- 1000倍。我们还展示了我们的模拟器的可扩展性,多GPU设置训练更具挑战性的运动任务。
2018-10-24 cs.RO
GA+DDPG+HER: Genetic Algorithm-Based Function Optimizer in Deep Reinforcement Learning for Robotic Manipulation Tasks
University of Nevada, Reno(内华达大学雷诺分校)
代理可以基于奖励函数使用强化学习(RL)做出决策。然而,学习算法参数的值的选择可以对整个学习过程具有实质性影响。为了发现接近最优的学习参数值,我们扩展了我们以前提出的基于遗传算法的深度确定性策略梯度和后见之明经验重放方法(简称为GA+DDPG+HER)。在FetchReach,FetchSlide,FetchPush,FetchPick&Place和DoorOpening的机器人操作任务上,我们应用了GA+DDPG+HER方法。我们的技术GA+DDPG+HER也用于AuboReach环境中,进行了一些调整。我们的实验分析表明,我们的方法产生的性能是明显更好,发生速度比原来的算法。我们还提供了GA+DDPG+HER击败当前方法的证据。最后的结果支持我们的断言,并提供了足够的证据,自动化的参数调整过程是至关重要的,并减少学习时间高达57%。
2022-11-13 cs.RO
Safe Reinforcement Learning using Formal Verification for Tissue Retraction in Autonomous Robotic-Assisted Surgery
University of Verona(维罗纳大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
深度强化学习(DRL)是自动化重复手术子任务的可行解决方案,因为它能够在动态环境中学习复杂行为。这种任务自动化可以减少外科医生的认知工作量,提高手术关键方面的精确度,并减少与患者相关的并发症。然而,目前的DRL方法不能保证任何安全标准,因为它们在不考虑与所执行的操作相关的风险的情况下最大化累积回报。由于这种限制,DRL在机器人辅助微创手术(MIS)的安全关键范例中的应用受到了限制。在这项工作中,我们引入了一个安全DRL框架,通过DRL培训的手术子任务的自动化,结合了安全约束。我们验证我们的方法在虚拟场景中,复制组织牵开任务通常发生在多个阶段的MIS。此外,为了评估机器人手臂的安全行为,我们制定了一个形式化验证工具DRL方法,提供了不安全配置的概率。我们的研究结果表明,正式的分析保证安全性与高置信度,使机器人仪器在安全的工作空间内运行,并避免与其他解剖结构的危险相互作用。
2021-09-06 cs.RO
An Analysis of Streaming Deep Reinforcement Learning for Adaptive Continual Learning in Robotics
Yale University(耶鲁大学)
本文首次分析流式深度强化学习在机器人持续学习中的应用,证明其能使机器人适应未预见变化,在四足运动中成功率提升高达90%,并在操作任务中部分有效。
2026-09-25 cs.RO
A Tendon-Driven Robotic Jellyfish with Constrained Soft Actuation and Depth Control via Reinforcement Learning
Hong Kong Embodied AI Lab(香港具身智能实验室);The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology(香港科技大学)
提出一种腱驱动仿生水母机器人,通过约束软驱动实现大变形和线性驱动,并利用强化学习实现闭环深度控制,提升软体机器人的可控性与自主性。
2026-10-19 cs.RO
MO-Playground: Massively Parallelized Multi-Objective Reinforcement Learning for Robotics
MO-Playground通过GPU加速的多目标环境和MORLAX算法,实现大规模并行化多目标强化学习,显著提升复杂机器人任务中的帕累托最优策略学习效率。
2026-10-28 cs.RO
Reinforcement Learning Approaches in Social Robotics
Örebro University(厄勒布鲁大学)
本文综述了社会机器人中的强化学习方法。强化学习是一个决策问题的框架,其中智能体通过试错与环境交互,以发现最佳行为。由于交互是强化学习和社交机器人的关键组成部分,因此它可以成为与物理体现的社交机器人进行真实世界交互的非常合适的方法。本文的范围特别集中在包括社交物理机器人和现实世界中的人机交互与用户的研究。我们对社会机器人中的强化学习方法进行了深入的分析。除了调查,我们分类现有的强化学习方法的基础上使用的方法和奖励机制的设计。此外,由于通信能力是社交机器人的一个突出特点,我们讨论和分组的基础上用于奖励制定的通信介质的论文。考虑到设计奖励函数的重要性,我们还根据奖励的性质对论文进行了分类。这种分类包括三个主要主题:交互式强化学习,内在动机的方法,和任务性能驱动的方法。强化学习在社会机器人中的好处和挑战,关于他们是否使用主观和算法措施的论文的评估方法,在现实世界的强化学习的挑战和建议的解决方案的角度进行讨论,还有待探讨的点,包括迄今为止得到较少关注的方法也在本文中给出。因此,本文的目的是成为一个起点,研究人员有兴趣使用和应用强化学习方法在这个特定的研究领域。
2021-02-11 cs.AI cs.RO
Hierarchical reinforcement learning for in-hand robotic manipulation using Davenport chained rotations
端到端强化学习技术是机器人操作任务中最成功的方法之一。然而,找到一个能够解决复杂任务的好策略所需的培训时间非常长。因此,根据可用的计算资源,使用这种技术可能不可行。使用领域知识将操作任务分解为原始技能,按顺序执行,可以降低学习问题的整体复杂性,从而减少实现灵活性所需的训练量。在本文中,我们提出了使用达文波特链式旋转分解成一个更小的一组更简单的旋转技能的串联复杂的3D旋转目标。然后,可以使用较少的整体模拟经验来训练最先进的基于重复学习的方法。我们将其性能与流行的后见之明经验重放方法进行比较,该方法在模拟机器人手环境中使用相同量的经验以端到端的方式进行训练。尽管原始技能在顺序执行时的性能普遍下降,但我们发现,当计算资源有限时,将任意3D旋转分解为基本旋转是有益的,相对于以端到端方式训练的HER获得的成功率,在最复杂的3D旋转上获得大约10%的成功率增加,在最简单的旋转中,成功率提高了20%到40%。
2022-11-15 cs.RO
Active Loop Closure for OSM-guided Robotic Mapping in Large-Scale Urban Environments
University of Macau(澳门大学);State Key Laboratory of Internet of Things for Smart City (SKL-IOTSC)(智慧城市物联网国家重点实验室);Faculty of Science and Technology(科技学院)
针对大规模城市建图中位姿不确定性导致的建图失败问题,提出一种主动闭环方法,通过重新规划GPS轨迹引导机器人重访旧地以触发后端优化,有效降低了位姿估计误差。
2024-07-24 cs.RO
Adaptive Compensation for Robotic Joint Failures Using Partially Observable Reinforcement Learning
Florida Institute of Technology(佛罗里达理工学院);HCMC University of Technology and Education(胡志明市技术与教育大学)
针对机器人关节故障,本文提出基于部分可观测马尔可夫决策过程的强化学习框架,在Franka机器人上实现自适应补偿,成功率达93.6%,显著提升了系统的鲁棒性与可靠性。
2024-09-22 cs.RO
Confidence-rich Localization and Mapping based on Particle Filter for Robotic Exploration
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学)
本文主要研究了距离感知机器人在置信度丰富地图(CRM)中的定位和映射问题,并对其进行了扩展,为信息论探索提供了完整的状态估计。以往的主动式同时定位与地图构建和探测的研究大多假设机器人的位姿是已知的,或者利用不准确的信息度量来近似位姿的不确定性,从而导致在未知环境中探测性能和效率的不平衡。这启发了我们扩展具有可测量姿态不确定性的富置信互信息(CRMI)。具体来说,我们提出了一种基于Rao-Blackwellized粒子滤波器的CRM定位和映射方案(RBPF-CLAM),然后我们开发了一种新的封闭形式的加权方法,以提高定位精度没有扫描匹配。我们进一步推导出不确定CRMI(UCRMI)与加权粒子通过更精确的近似。仿真和实验结果表明,所提出的方法的定位精度和勘探性能。
2022-07-26 cs.RO
DORA: Object Affordance-Guided Reinforcement Learning for Dexterous Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, Universität Hamburg(技术多模态系统(TAMS),信息学院,汉堡大学);Agile Robots AG(敏捷机器人公司);Technical University of Munich(慕尼黑技术大学)
针对灵巧机器人操作的高维控制与语义交互难题,提出DORA物体可供性引导强化学习框架,通过可供性图约束、投票分类机制与融合奖励函数提升操作效率,三项任务成功率平均提升15.4%。
2025-05-20 cs.RO
Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation
National University of Singapore(新加坡国立大学)
强化学习已经在机器人任务中显示出广泛的用途,例如插入和抓取。然而,如果没有一个实际的sim2real策略,在模拟中训练的策略可能会在实际任务中失败。在sim2real策略中也有广泛的研究,但这些方法大多依赖于繁重的图像渲染,域随机化训练或调整。在这项工作中,我们解决了插入任务,使用一个纯视觉的强化学习解决方案与最低的基础设施要求。我们还提出了一种新的sim2real策略,Real2Sim,它提供了一个新的和更容易的解决方案,在政策适应。讨论了Real2Sim相对于Sim2Real的优势。
2022-06-06 cs.AI cs.RO
An Enhanced LiDAR-Inertial SLAM System for Robotics Localization and Mapping
基于LiDAR和惯性传感器的定位和地图绘制对于无人地面车辆相关应用具有重要意义。在这项工作中,我们已经开发了一种改进的激光雷达惯性定位和测绘系统的无人地面车辆,这是适合于多功能的搜索和救援应用。与现有的基于激光雷达的定位和地图系统,如LOAM相比,我们有两个主要的贡献:第一个是基于粒子群滤波器的激光雷达SLAM的鲁棒性的提高,而第二个是闭环方法开发的全局优化,以提高整个系统的定位精度。实验结果表明,该方法提高了激光雷达SLAM系统的定位精度和鲁棒性。最后,在香港科学园以及其他室内外真实复杂的测试环境中进行了系统的实验测试,验证了本文方法的有效性和效率。实验结果表明,该系统具有较高的精度、鲁棒性和效率。该系统对无人地面车辆在未知环境中的定位和测绘具有重要意义。
2022-12-29 cs.RO
ACDC: Adaptive Curriculum Planning with Dynamic Contrastive Control for Goal-Conditioned Reinforcement Learning in Robotic Manipulation
本文提出ACDC方法,结合自适应课程规划与动态对比控制,提升机器人操控任务中的样本效率和任务成功率。
2026-08-04 cs.RO
Reinforcement Learning with Parameterized Manipulation Primitives for Robotic Assembly
Singapore Centre for 3D Printing (SC3DP)(新加坡3D打印中心(SC3DP));School of Mechanical and Aerospace Engineering, NTU(南洋理工大学机械与航空航天工程学院);Eureka Robotics(尤里卡机器人公司)
针对机器人装配中人工设计的状态机式操作基元策略难以应对意外状况的问题,提出用强化学习学习参数化操作基元的动态序列,提升了装配性能与样本效率,在高精度插销任务上实现了优异的零样本仿真到现实迁移效果。
2023-06-11 cs.RO
ARCGym: Benchmarking Deep Reinforcement Learning in Autonomous Robotic Colonoscopy
University of Copenhagen(哥本哈根大学)
ARCGym是用于自主机器人结肠镜检查的强化学习环境与基准,支持多种柔性内窥镜,实验表明自主导航仍具挑战性,近端插入致动是开放问题。
2026-09-22 cs.RO
Autonomous Robotic Mapping of Fragile Geologic Features
Arizona State University(亚利桑那州立大学)
机器人测绘在涉及测量非结构化环境的科学应用中是有用的。本文提出了一种针对稀疏分布的地质表面特征(例如不稳定平衡岩石(PBR))的面向目标的制图系统,其几何脆性参数可以为区域的地震历史和景观发展提供有价值的信息。这个地貌问题作为测试域,我们展示了一个管道检测,定位和精确映射脆弱的地质特征分布在景观。要做到这一点,我们首先进行了割草机搜索模式的调查区域从高海拔使用无人驾驶飞行器(UAV)。一旦深度神经网络检测到潜在的PBR目标,我们就使用实时跟踪算法跟踪图像帧中的限界框。使用基于采样的滤波算法估计目标在世界坐标中的位置和占用,其中一组3D点在由来自不同相机视角的跟踪边界框加权后被重新采样。融合后的三维点提供了目标三维边界形状的先验信息,用于无人机路径规划,利用同时定位与地图构建(SLAM)技术对目标进行紧密、完整的定位。在目标测绘之后,无人机恢复割草机搜索模式以找到下一个目标。我们介绍的技术,使目标映射鲁棒性假阳性和丢失检测的神经网络。我们的面向目标的制图系统具有减少地图存储量和强调指定目标上完整可见表面特征的优点。
2021-05-04 cs.RO
Volumetric Occupancy Mapping With Probabilistic Depth Completion for Robotic Navigation
Imperial College London(帝国理工学院);SLAMcore Ltd.(SLAMcore有限公司)
针对消费级RGB-D相机易出现深度缺失导致机器人建图不完整的问题,提出结合带不确定性估计的概率深度补全的体素占据建图框架,可提升自由空间建图的速度与完整性,经合成与真实数据验证适用于机器人导航。
2021-03-22 cs.RO
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
强化学习(RL)算法有望实现机器人系统的自主技能获取。然而,在实践中,现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外,使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中,我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时,我们的系统会调整以前学习的技能,以快速学习执行新任务并将环境返回到初始状态,从而有效地执行自己的环境重置。我们的实证结果表明,将先验数据纳入机器人强化学习,使自主学习,大大提高了学习的样本效率,并使更好的推广。项目网址:https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Cooperative Assistance in Robotic Surgery through Multi-Agent Reinforcement Learning
Heidelberg University Hospital(海德堡大学医院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
机器人辅助手术中的认知协作协助具有提高微创干预护理质量的潜力。手术任务的自动化有望减少外科医生的精神消耗和疲劳。在这项工作中,多智能体强化学习被证明是强大的分布偏移引入配对学习政策与人类团队成员。多智能体策略直接从模拟中的图像进行训练,以在胆囊微创切除的子任务中控制多个器械。这些智能体将被单独评估,并与人类合作,以证明它们作为自主助手的适用性。与人类团队相比,具有人工代理的混合团队在完成时间(缩短44.4%至71.2%)和碰撞次数(减少44.7%至98.0%)方面表现更好。然而,路径长度增加控制下的人工代理(11.4%至33.5%以上)。一个多代理制定的学习问题,有利于在这个手术子任务的单代理制定,由于顺序学习的两个工具。这种方法可以扩展到在标准强化学习框架内难以制定的其他任务。多智能体强化学习可能会将认知机器人手术的范式转变为外科医生和辅助技术之间的无缝合作。
2021-10-10 cs.RO
Sim4EndoR: A Reinforcement Learning Centered Simulation Platform for Task Automation of Endovascular Robotics
Tongji University(同济大学);The University of Hong Kong(香港大学);Soochow University(苏州大学);University of Shanghai for Science and Technology(上海理工大学);Shanghai East Hospital, School of Medicine, Tongji University(同济大学医学院附属东方医院);United Imaging Research Institute of Intelligent Imaging(联影智能影像研究院)
本文提出Sim4EndoR强化学习仿真平台,利用血管几何约束设计奖励函数并结合物理仿真与神经网络策略学习,以提升PCI机器人任务级自主性并促进仿真到现实迁移。
2025-04-04 cs.RO
Benchmarking Massively Parallelized Multi-Task Reinforcement Learning for Robotics Tasks
针对现有多任务强化学习研究多局限于低并行离策略方法的问题,提出基于IsaacGym的开源基准MTBench,含70项机器人任务与多种算法框架,验证了其评估效率并揭示了相关挑战。
2025-08-01 cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing(国家高速网络与计算中心)
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法,通过实时检测和规避奇异点,实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
From Scratch to Sketch: Deep Decoupled Hierarchical Reinforcement Learning for Robotic Sketching Agent
Seoul National University(首尔国立大学)
我们提出了一个自动学习框架的机器人素描代理,能够学习基于笔划的渲染和电机控制同时进行。我们制定的机器人素描问题作为一个深度解耦的分层强化学习;两个政策,基于笔划的渲染和电机控制独立学习,以实现子任务的绘图,并形成一个层次结构时,合作的现实世界的绘图。没有手工制作的功能,绘图序列或轨迹,和逆运动学,所提出的方法训练的机器人草图代理从头开始。我们进行了实验,6自由度的机器人手臂与2F夹具素描涂鸦。我们的实验结果表明,这两种策略成功地学习了子任务,并合作绘制目标图像。此外,通过不同的绘图工具和表面检查的鲁棒性和灵活性。
2022-08-09 cs.CV cs.RO
Reinforcement Learning Experiments and Benchmark for Solving Robotic Reaching Tasks
University College Dublin(都柏林大学学院);Resero Ltd(Resero有限公司);Universidad de León(莱昂大学)
强化学习在机器人领域显示出了巨大的潜力,这要归功于它通过自我训练开发高效机器人控制程序的能力。特别是,强化学习已经成功地应用于解决机器人手臂的到达任务。在本文中,我们定义了一个强大的,可重复的和系统的实验过程来比较各种无模型算法在解决这个任务的性能。这些策略在仿真中进行训练,然后转移到物理机器人操纵器上。结果表明,增加奖励信号与后见之明的经验重放探索技术增加了平均回报的关政策代理之间的7和9倍时,目标位置是随机初始化在每个情节的开始。
2020-11-11 cs.AI cs.LG cs.RO
Object SLAM-Based Active Mapping and Robotic Grasping
Northeastern University(东北大学);The Chinese University of Hong Kong(香港中文大学);Ulster University(阿尔斯特大学)
本文提出了复杂的机器人操作和自主感知任务的第一个主动对象映射框架。该框架是建立在一个对象SLAM系统集成了一个同时的多目标姿态估计过程,优化机器人抓取。为了降低目标物体的观测不确定性,提高其位姿估计精度,设计了一种物体驱动的探测策略来指导物体映射过程,实现自主映射和高层次感知。结合映射模块和探索策略,可以生成与机器人抓取兼容的精确对象地图。此外,定量评估还表明,所提出的框架具有很高的映射精度。实验操作(包括对象抓取和放置)和增强现实显着证明了我们提出的框架的有效性和优势。
2021-10-16 cs.CV cs.RO
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London(伦敦帝国理工学院);University of Bristol(布里斯托尔大学)
近几十年来,手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点,可以为患者提供更短的恢复时间和更短的住院时间。然而,目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中,存在大量重复但简单的操作,这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明,该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
AffordanceGrasp-R1:Leveraging Reasoning-Based Affordance Segmentation with Reinforcement Learning for Robotic Grasping
AffordanceGrasp-R1 通过结合推理和强化学习,提升机器人抓取任务中的推理能力和空间定位,实验表明其在基准和现实场景中均表现优异。
2026-02-03 cs.CV cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
安全性是每个机器人平台的关键属性:任何控制策略都应始终遵守执行器限制,并避免与环境和人类碰撞。在强化学习中,安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案,但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台,并通过探索约束流形的切线空间,即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能,同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署,在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks
Siemens(西门子);UC Berkeley(加州大学伯克利分校)
机器人插入任务的特点是接触和摩擦力学,使他们具有挑战性的传统反馈控制方法,由于未建模的物理效应。强化学习(RL)是一种很有前途的学习控制策略,在这样的设置。然而,强化学习在探索过程中可能是不安全的,并且可能需要大量的真实世界的训练数据,这是昂贵的collect. In本文中,我们研究如何使用Meta强化学习来解决大部分的问题,通过解决一个家庭的模拟工业插入任务,然后在现实世界中快速适应政策的仿真。我们通过训练代理成功地执行具有挑战性的现实世界的插入任务,使用不到20个试验的现实世界的经验来展示我们的方法。视频和其他材料可在https://pearl-insertion.github.io/上获取
2020-05-23 cs.LG cs.RO
BricksRL: A Platform for Democratizing Robotics and Reinforcement Learning Research and Education with LEGO
Universitat Pompeu Fabra(庞培法布拉大学);PyTorch Team, Meta(Meta PyTorch团队);ICREA, Universitat Pompeu Fabra(ICREA、庞培法布拉大学)
本文提出BricksRL平台,通过将乐高机器人与TorchRL库对接,实现现实世界中自定义乐高机器人的创建、设计与训练,支持GPU强化学习训练,提供灵活经济的扩展方案,助力机器人学与强化学习研究教育民主化。
2024-12-02 cs.LG cs.RO
Deep Incremental Model Informed Reinforcement Learning for Continuous Robotic Control
提出一步回看方法,联合学习深度增量模型和策略,降低模型学习难度,提高连续机器人控制的样本效率。
2025-02-27 cs.RO cs.SY eess.SY
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco(伯南布哥大学);Istituto Italiano di Tecnologia(意大利理工学院)
在机器人场景中处理社交任务是困难的,因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况,特别是涉及强化学习的模型。在这项工作中,我们讨论了这个问题和可能的解决方案,通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz(开姆尼茨工业大学)
深度强化学习使算法能够学习复杂的行为,处理连续的动作空间,并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域,并且有许多并发的发明,我们决定专注于一个相对简单的机器人任务,以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合,它是否能够比基线更有效地学习。我们还比较了不同的想法,以预处理信息之前,它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性,通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML