Reinforcement Learning Experiments and Benchmark for Solving Robotic Reaching Tasks
University College Dublin(都柏林大学学院);Resero Ltd(Resero有限公司);Universidad de León(莱昂大学)
强化学习在机器人领域显示出了巨大的潜力,这要归功于它通过自我训练开发高效机器人控制程序的能力。特别是,强化学习已经成功地应用于解决机器人手臂的到达任务。在本文中,我们定义了一个强大的,可重复的和系统的实验过程来比较各种无模型算法在解决这个任务的性能。这些策略在仿真中进行训练,然后转移到物理机器人操纵器上。结果表明,增加奖励信号与后见之明的经验重放探索技术增加了平均回报的关政策代理之间的7和9倍时,目标位置是随机初始化在每个情节的开始。
2020-11-11 cs.AI cs.LG cs.RO
End-to-end Multi-Instance Robotic Reaching from Monocular Vision
The Australian National University(澳大利亚国立大学);The University of Technology Sydney(悉尼科技大学)
本文提出实时端到端视觉运动方法,利用单目RGB、关节角、FCN与cLf回归生成并选择控制候选,实现多实例干扰场景下的机器人到达与抓取,推理速度约160 fps。
2024-01-22 cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin(都柏林大学学院);Resero Ltd(雷塞罗有限公司);Universidad de León(莱昂大学)
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化,允许用户快速比较不同的训练参数集。我们提出了rl_reach,一个独立的,开源的和易于使用的软件包,旨在运行可重复的强化学习实验,可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起,允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得:https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Gaze-based, Context-aware Robotic System for Assisted Reaching and Grasping
Imperial College London(帝国理工学院)
辅助机器人系统致力于支持那些有运动障碍的人,使他们能够再次移动并恢复功能。这些系统的主要问题是其低级控制的复杂性,以及如何将其转换为更简单,更高级的命令,这些命令对于人类用户来说是简单和直观的。我们已经创建了一个多模态系统,由不同的传感,决策和驱动方式组成,从而实现直观的人在回路辅助机器人。该系统从用户的凝视中获取线索,解码他们的意图并实现低级运动动作以实现高级任务。这导致用户只需查看感兴趣的对象,机器人系统就可以帮助他们够到这些对象,抓住它们,并使用它们与其他对象进行交互。我们提出了我们的3D凝视估计的方法,和基于语法的实现与机器人系统的动作序列。对8名受试者的3D凝视估计进行了评价,显示总体准确度为$4.68\pm0.14cm$。用5个受试者测试了完整的系统,示出了达到凝视点动作的$100\%$的成功实施和96%的拾取和放置任务的完全实施,以及$76\%$的拾取和倾倒任务。最后,我们提出了一个讨论我们的结果和未来的工作是需要改进的系统。
2019-03-06 cs.HC cs.RO
Non-invasive Cognitive-level Human Interfacing for the Robotic Restoration of Reaching & Grasping
Imperial College London(帝国理工学院);MRC London Institute of Medical Sciences(英国医学研究理事会伦敦医学科学研究所);Data Science Institute(数据科学研究所)
辅助和可穿戴机器人技术有可能支持患有不同类型运动障碍的人变得独立并成功地完成日常生活活动。然而,这些机器人系统的成功依赖于有意义地解码人类行动意图并适当地执行它们的能力。神经接口已经被探索用于这种系统中,取得了一些成功,然而,它们往往是侵入性的,需要几个月的训练期。我们提出了一个机器人系统,用于人类增强,能够驱动用户的手臂和手指,有效地恢复达到,抓住和操纵物体的能力;仅通过用户的眼球运动控制。我们结合可穿戴眼动追踪,环境的视觉背景和人类行为的结构语法,以创建一个认知水平的辅助机器人设置,使用户能够完成日常生活活动,同时保存可解释性和用户的代理。接口在5分钟内完成磨损、校准和准备使用。用户通过额外的5分钟互动学习控制和成功使用系统。用5名健康参与者对该系统进行测试,在6项任务中首次尝试的平均成功率为$96.6\%$。
2021-02-25 cs.AI cs.RO
Robotic Strawberry Harvesting with Robust Vision and Deep Reinforcement Learning based Sim-to-Real Control
Department of Biological & Agricultural Engineering, Texas A&M University(德克萨斯A&M大学生物与农业工程系);Texas A&M AgriLife Research, Texas A&M University System(德克萨斯A&M大学系统农业生命研究);Department of Biomechatronics Engineering, National Taiwan University(国立台湾大学生物机械工程系)
提出结合改进YOLO26-seg视觉模块和仿真训练PPO控制器的闭环草莓采摘系统,在温室试验中实现84.3%总体采摘成功率。
2026-05-22 cs.RO
World Models and Predictive Coding for Cognitive and Developmental Robotics: Frontiers and Challenges
Ritsumeikan University(立命馆大学);Keio University(庆应义塾大学);The University of Tokyo(东京大学);Università Milano-Bicocca(米兰比可卡大学);University of Essex(埃塞克斯大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Cajal International Neuroscience Center, Spanish National Research Council(西班牙国家研究委员会卡哈尔国际神经科学中心);Bogazici University(博阿齐奇大学);Queen Mary University of London(伦敦玛丽女王大学);The University of Electro-Communications(电气通信大学);National Autonomous University of Mexico(墨西哥国立自治大学);Universidad Autónoma del Estado de Morelos(莫雷洛斯州自治大学);Institute of Cognitive Sciences and Technologies, National Research Council of Italy(意大利国家研究委员会认知科学与技术研究所)
创造能够积极探索环境、不断获取知识和学习技能的自主机器人是认知和发展机器人技术所设想的最终成就。他们的学习过程应该以人类学习和认知发展的方式与他们的物质和社会世界互动为基础。基于这一背景,本文重点研究了世界模型和预测编码两个概念。最近,世界模型作为人工智能中相当感兴趣的话题再次引起了人们的关注。认知系统学习世界模型以更好地预测未来的感官观察并优化其策略,即,控制器。或者,在神经科学中,预测编码提出大脑不断预测其输入,并适应模拟其自身的动态和控制环境中的行为。这两种想法都可以被认为是机器人和人类能够持续或终身学习的认知发展的基础。虽然在认知机器人和神经机器人中已经进行了许多关于预测编码的研究,但是在人工智能中基于世界模型的方法和机器人中的预测编码之间的关系很少被讨论。因此,在本文中,我们澄清的定义,关系和这些主题的当前研究的现状,以及缺失的世界模型和预测编码与关键相关的概念,如自由能原则和主动推理的认知和发展机器人的背景下。此外,我们还概述了世界模型和预测编码所涉及的前沿和挑战,以进一步整合人工智能和机器人技术,以及创造未来具有真正认知和发展能力的机器人。
2023-01-14 cs.AI cs.LG cs.RO
Learning Visual Tracking and Reaching with Deep Reinforcement Learning on a UR10e Robotic Arm
National Research Council of Canada(加拿大国家研究委员会);Carleton University(卡尔顿大学)
针对工业机器人编程复杂、现有强化学习方法依赖仿真难以落地的问题,本研究在UR10e机械臂上搭建强化学习环境,对比训练深度Q学习与PPO智能体,发现PPO以更少数据学到更优稳定策略,相关代码已开源。
2023-08-28 cs.AI cs.RO
IPPO: Obstacle Avoidance for Robotic Manipulators in Joint Space via Improved Proximal Policy Optimization
University of Groningen(格罗宁根大学)
具有随机目标和障碍物的机器人到达任务是一个具有挑战性的任务。在这项研究中,我们提出了一种新的无模型强化学习方法的基础上,近端策略优化(PPO)训练的深度政策映射的任务空间的关节空间的6自由度机械手。为了促进在一个大的工作空间的培训过程中,我们开发了一个有效的表示环境的输入和输出。障碍物和机械臂之间的距离的计算被纳入状态表示使用基于几何的方法。此外,为了提高模型在任务到达方面的性能,我们引入了动作集成方法,并设计了直接参与PPO中价值函数更新的策略。为了克服在真实机器人环境中训练的挑战,我们在Gazebo中开发了一个仿真环境来训练模型,因为它产生了比其他模拟器更小的模拟到真实的差距。然而,在Gazebo的培训是时间密集型的。为了解决这个问题,我们提出了一种Sim-to-Sim方法,以显着减少训练时间。然后,将训练好的模型直接应用于实际机器人设置中,而无需进行微调。为了评估所提出的方法的性能,我们在模拟和真实的机器人进行了几轮实验。我们还比较了所提出的方法与六个基线的性能。实验结果表明,所提出的方法在执行达到任务的有效性和无障碍。我们的方法在不同的到达任务场景中大大优于所选择的基线。这些实验的录像作为补充材料附在论文后。
2023-02-09 cs.AI cs.RO
Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks
Faculty of Engineering and Natural Sciences(工程与自然科学学院);Tampere University(坦佩雷大学)
本文提出将基于深度强化学习的无碰撞轨迹规划器与自适应低级控制策略相集成,通过布谷鸟搜索优化算法增强控制增益,有效解决了机械臂在障碍物环境下的非重复性到达任务,确保了系统的鲁棒性和一致指数收敛。
2024-05-15 cs.LG cs.RO cs.SY
Fast Trajectory Planner with a Reinforcement Learning-based Controller for Robotic Manipulators
Department of Artificial Intelligence, Bernoulli Institute, Faculty of Science and Engineering, University of Groningen(人工智能系、伯努利学院、科学与工程学院、格罗宁根大学)
本文提出一种结合任务空间视觉路径规划与关节空间强化学习避障的快速轨迹规划系统,通过FSA模型、B样条优化搜索以及PPO的动作集成和策略反馈增强,提升操作臂在杂乱环境中的避障精度与实时规划效率。
2025-09-22 cs.RO
Reducing Robotic Upper-Limb Assessment Time While Maintaining Precision: A Time Series Foundation Model Approach
School of Computing(计算学院);Queen’s University(皇后大学);Hotchkiss Brain Institute(霍克奇斯脑研究所);University of Calgary(卡尔加里大学);Centre for Neuroscience Studies(神经科学研究中心);Providence Care Hospital(普罗维登斯护理医院)
本文提出利用时间序列基础模型预测合成试验以替代未记录的机器人伸展动作,在大幅缩短中风患者Kinarm上肢评估时间至约1分钟的同时,保持了运动学参数的精度与可靠性。
2025-10-31 cs.LG cs.RO
Towards Vision-Based Deep Reinforcement Learning for Robotic Motion Control
ARC Centre of Excellence for Robotic Vision (ACRV)(ARC机器人视觉卓越中心(ACRV));Queensland University of Technology (QUT)(昆士兰科技大学(QUT))
介绍了一种基于机器学习的机器人视觉控制系统。第一次展示了仅从原始像素图像并且没有任何配置的先验知识的自主学习机器人控制器的能力。我们建立在最近的深度强化学习的成功,并开发了一个系统,学习目标达到与三关节机器人机械手使用外部视觉观察。在仿真中,演示了深度Q网络(DQN)在训练后执行目标到达。将网络转移到真实的硬件和真实的观察中失败了,但实验表明,当用合成图像替换相机图像时,网络可以工作。
2015-11-13 cs.CV cs.LG cs.RO
Learning Cross-hand Policies for High-DOF Reaching and Grasping
National University of Defense Technology(国防科技大学);Shenzhen University(深圳大学);Hunan University(湖南大学)
本文提出一种两阶段统一策略学习方法,通过夹爪无关的关键点位移预测与夹爪特定的关节控制适应,结合transformer网络实现抓取策略在不同灵巧夹爪间的迁移,显著优于基线方法。
2025-02-02 cs.GR cs.RO
Evaluating Model-Agnostic Meta-Learning on MetaWorld ML10 Benchmark: Fast Adaptation in Robotic Manipulation Tasks
MetaWorld ML10 Benchmark(MetaWorld ML10基准)
本文在MetaWorld ML10机器人操控基准上评估结合TRPO的MAML算法,验证其少样本适配效果,分析其泛化差距与性能方差,指出该类方法的潜力与局限。
2025-11-15 cs.RO
Stochastic Optimal Control for Modeling Reaching Movements in the Presence of Obstacles: Theory and Simulation
Ben-Gurion University of the Negev(本-古里安大学)
在许多人在回路机器人应用中,例如机器人辅助手术和远程遥控操作,预测人类操作员的预期运动对于成功实现共享控制、引导虚拟夹具和预测控制可能是有用的。开发人体运动的计算模型是这种运动预测框架的关键基础。有了这个动机,我们提出了一个计算框架,在障碍物的存在下,达到运动建模。我们提出了一个随机最优控制框架,该框架由概率碰撞避免约束和成本函数,权衡之间的努力和最终状态方差的存在下,信号相关的噪声。首先,我们提出了一系列的重新制定原来的非线性和非凸最优控制转化为一个参数二次规划问题。我们表明,可以调整参数来模拟各种防撞策略,从而捕捉到与人体运动相关的典型变化。然后,我们提出了一个模拟研究,演示了复杂的相互作用之间的避免策略,控制成本,和避免碰撞的概率。所提出的框架可以使各种需要在杂乱空间中进行远程操作的应用受益,包括机器人辅助手术。此外,它也可以被看作是一种新的优化器,产生光滑和概率安全的轨迹依赖于信号的噪声。
2018-03-26 cs.RO
Improving Kinodynamic Planners for Vehicular Navigation with Learned Goal-Reaching Controllers
Rutgers(罗格斯大学)
本文的目的是提高路径质量和计算效率的采样基kinodynamic规划器的车辆导航。它提出了一个学习框架,以确定有前途的控制在扩大过程中的抽样为基础的规划师。给定动态模型,离线训练强化学习过程以返回达到局部目标状态(即,在没有障碍物的情况下。通过专注于系统的动态而不了解环境,这个过程是数据高效的,并且对于机器人系统只发生一次。它可以在不同的环境中重复使用。规划器以明智的方式为学习的控制器生成在线局部目标状态,以偏向目标,并且以探索性的随机方式连续地生成。对于知情的扩展,本地目标状态生成通过(a)中轴信息的环境中的障碍物,或(b)波前信息的设置与可通行性成本。学习过程和由此产生的规划框架进行评估的第一和第二阶差分驱动系统,以及物理模拟的赛格威机器人。结果表明,所提出的集成的学习和规划可以产生更高的质量路径比采样为基础的Kinodynamic规划与随机控制在更少的迭代次数和计算时间。
2021-10-08 cs.RO
Goal-Aware Generative Adversarial Imitation Learning from Imperfect Demonstration for Robotic Cloth Manipulation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
生成对抗模仿学习(GAIL)可以学习策略,而无需从演示中明确定义奖励函数。GAIL有潜力学习以高维观测为输入的策略,例如,图像.通过将GAIL应用于真正的机器人,也许可以获得机器人的日常活动,如洗涤,折叠衣服,烹饪和清洁。然而,人类的示范数据往往是不完美的,由于错误,这降低了性能的政策。我们通过关注以下特征来解决这个问题:1)许多机器人任务都是达到目标的任务,2)在演示数据中标记这些目标状态相对容易。考虑到这些,本文提出了目标感知生成对抗性模仿学习(GA-GAIL),它通过引入第二个参数来区分目标状态,与指示演示数据的第一个参数并行地训练策略。这扩展了一个标准的GAIL框架,通过一个促进实现目标状态的目标状态学习器,即使是从不完美的演示中,也能更稳健地学习理想的策略。此外,GA-GAIL采用熵最大化深度P-网络(EDPN)作为生成器,该生成器在策略更新中同时考虑平滑性和因果熵,以实现来自两个鉴别器的稳定策略学习。我们所提出的方法被成功地应用到两个真正的机器人布料操作任务:把手帕和折叠衣服。我们证实,它学习布料操纵政策没有特定任务的奖励功能设计。真实实验的视频可在https://youtu.be/h_nII2ooUrE上获得。
2022-09-21 cs.RO
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing(国家高速网络与计算中心)
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法,通过实时检测和规避奇异点,实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
Closed-loop Position Control of a Pediatric Soft Robotic Wearable Device for Upper Extremity Assistance
Univ. of California, Riverside(加州大学河滨分校)
这项工作的重点是闭环控制的基础上,本体感受反馈的触觉致动的软可穿戴设备,旨在未来的支持婴儿达到的任务。该装置包括两个软气动致动器(一个基于织物,一个硅树脂铸造),主动控制每个手臂的两个自由度(分别为肩部内收/外展和肘部屈曲/伸展)。连接到可穿戴设备的惯性测量单元(IMU)提供实时关节角度反馈。根据文献中报告的婴儿人体测量数据(臂长)进行器械运动学分析。婴儿达到的运动范围和肌肉协同激活模式被认为是获得所需的轨迹设备的末端执行器。然后,比例微分控制器的开发,以调节内部的致动器的压力,并反过来移动手臂沿所需的设定点内的可达的工作空间。实验结果表明,所提出的控制器可以帮助指导人体模型的手腕所需的设定点跟踪所需的手臂轨迹。
2022-06-16 cs.RO cs.SY eess.SY
Bio-Inspired Topological Autonomous Navigation with Active Inference in Robotics
Ghent University(根特大学);Verses;Flanders Make(佛兰德斯制造)
本文提出一种基于主动推断框架的生物启发代理,实现环境拓扑地图的实时生成与更新,通过概率推理框架实现可解释的导航,并在动态和未知环境中表现出鲁棒适应性。
2025-08-10 cs.RO
Dext-Gen: Dexterous Grasping in Sparse Reward Environments with Full Orientation Control
Technical University Munich(慕尼黑工业大学)
强化学习是一种很有前途的机器人抓取方法,因为它可以在困难的场景中学习有效的到达和抓取策略。然而,由于问题的高维性,用复杂的机器人手实现类似人类的操作能力是具有挑战性的。虽然可以采用奖励塑造或专家示范等补救措施来克服这一问题,但它们往往导致过于简单和有偏见的政策。我们提出了Dext-Gen,一个强化学习框架,用于稀疏奖励激励中的灵巧抓取,适用于各种抓取器,并学习无偏见和复杂的策略。通过平滑的方向表示,实现了抓取器和物体的完全方向控制。我们的方法具有合理的培训持续时间,并提供了包括所需先验知识的选项。仿真实验证明了该框架对不同场景的有效性和适应性。
2022-06-28 cs.RO
Robotic Arm Control and Task Training through Deep Reinforcement Learning
University of Padova(帕多瓦大学)
本文提出了信任域策略优化和具有归一化优势函数的DeepQ网络与其他最先进的算法(即深度确定性策略梯度和Vanilla策略梯度)的详细和广泛的比较。比较表明,前者有更好的性能比后者要求机械臂完成操作任务,如达到一个随机的目标位姿和拾取和放置一个对象。提供了模拟和真实世界的实验。仿真让我们展示了我们采用的精确估计算法超参数和正确设计良好策略的过程。真实世界的实验表明,我们的策略,如果正确的模拟训练,可以在真实环境中传输和执行,几乎没有变化。
2020-05-06 cs.AI cs.RO
Adaptive Surgical Robotic Training Using Real-Time Stylistic Behavior Feedback Through Haptic Cues
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);UT Southwestern Medical Center(德州大学西南医学中心)
手术技巧直接影响手术结果;因此,需要有效的培训以确保满意的结果。许多客观的评估指标已经被开发出来,其中一些被广泛用于手术训练模拟器。这些客观指标为受训者提供了关于其表现的描述性反馈,然而,通常缺乏关于如何继续改进表现的反馈。最有效的培训方法是直观、易于理解、针对用户个性化并及时提供的方法。我们提出了一个框架,以使用户自适应训练使用近实时检测的性能,基于直观的风格的手术运动(例如,流动性、光滑度、脆度等),并提出了一种触觉反馈框架来帮助校正运动风格。我们评估的能力,三种类型的力反馈(弹簧,阻尼,弹簧加阻尼反馈),计算基于先前的用户位置,以提高不同的风格行为的用户在运动学约束达到运动任务。结果表明,在这里研究的六种风格中,有四种使用弹簧引导力反馈在统计学上有显著改善(p<0.05),并且使用弹簧反馈也发现了任务时间的显着减少。在任务中的路径直线度和瞄准误差是其他任务性能指标的研究,显着改善使用弹簧阻尼反馈。这项研究提出了一个基于近实时的以人为中心的手术行为模型的机器人手术自适应训练的基础。
2021-02-20 cs.RO
An Open-Source 7-Axis, Robotic Platform to Enable Dexterous Procedures within CT Scanners
University of California San Diego(加州大学圣地亚哥分校)
本文描述了用于CT引导下经皮穿刺活检的高度灵巧、低剖面、7自由度(DOF)机械臂的设计、制造和性能。直接CT引导允许医生快速定位肿瘤;然而,针插入仍然是手工进行的。该系统安装在患者头部上方的全主动机架上,并由放射科医生远程操作。与其他类似的机器人不同,该机器人的完全串行链路方法使用了带和电缆驱动的独特组合,以实现高透明度和最小的反冲,允许扩展工作区域和许多接近目标的角度,同时保持小于$16cm^2$的小膛内横截面。模拟验证了该系统广阔的无碰撞工作空间和打击整个胸部目标的能力,如肺癌活检所需。在遥控准确性任务中,目标误差平均为$<1mm$,说明系统具有足够的准确性来执行活检程序。该系统设计用于肺活检,因为到达外周肺病变所需的工作体积较大,但由于其工作体积较大且孔内横截面积较小,因此该机器人系统实际上是经皮手术的通用CT兼容操作器械。最后,在设计一个精确和灵活使用的系统,并希望减少其他研究人员在开发图像引导手术的算法的负担进行了相当长的开发时间,该系统提供了开放访问,并尽我们所知,是第一个开放的硬件图像引导活检机器人。
2019-08-16 cs.RO
BronchoCopilot: Towards Autonomous Robotic Bronchoscopy via Multimodal Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出多模态强化学习智能体BronchoCopilot,融合支气管镜图像与机器人位姿并结合重建、注意力和分阶段训练,实现高成功率的自主支气管镜操控。
2024-03-03 cs.RO
Energy-Efficient Arm Reaching for a Humanoid Robot via Deep Reinforcement Learning with Identified Power Models
Harper Adams University(哈珀亚当斯大学);Lincoln Institute for Agri-Food Technology(林肯农业食品技术研究所);Lincoln Centre for Autonomous Systems(林肯自主系统中心)
提出一种端到端能量感知强化学习框架,结合物理实验识别的电功率模型与SAC策略,在Unitree G1人形机器人上实现节能手臂伸展,仿真成功率69.9%,实物验证平均能耗71.5 J。
2026-06-16 cs.RO
HyReach: Vision-Guided Hybrid Manipulator Reaching in Unseen Cluttered Environments
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Skild AI
本文提出一种实时混合刚柔连续机械臂系统,通过视觉感知与3D场景重建结合形状感知运动规划,实现鲁棒的开放世界物体抓取,实验表明在杂乱环境中误差低于2厘米。
2026-03-22 cs.AI cs.RO
Teleoperation of a robotic manipulator in peri-personal space: a virtual wand approach
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);Institute for Intelligent Systems and Robotics (ISIR)(智能系统与机器人研究所)
针对近体空间6-DoF机械臂遥操作,本文提出手与末端执行器间设虚拟刚性连杆的“虚拟魔杖”映射,并通过到达任务证明其与直接位置映射性能相当且各有适用场景。
2024-06-13 cs.RO
CONTHER: Context-Aware Reinforcement Learning for Robotic Manipulation with Sparse Rewards
Dalian University of Technology(大连理工大学)
本文提出CONTHER,结合Transformer架构与改进的HER回放缓冲区,利用运动历史增强稀疏奖励下的目标条件强化学习,在UR3模拟任务中显著提升成功率与稳定性。
2026-09-09 cs.RO
Learning Human-arm Reaching Motion Using IMU in Human-Robot Collaboration
Tel-Aviv University(特拉维夫大学)
本研究提出基于双IMU可穿戴设备的手臂位置估计与目标预测神经网络模型,无需视觉感知即可实现人机协作中的实时伸手动作预测,适配多场景与新用户,准确率与成功率表现优异。
2023-08-26 cs.RO eess.SP
Design, Modeling, and Redundancy Resolution of Soft Robot for Effective Harvesting
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院);Mississippi State University(密西西比州立大学)
黑莓收获是一个劳动密集型和昂贵的过程,消耗高达50%的年度总作物小时。本文提出了一种解决方案,机器人收获通过设计,制造,集成和控制的一个可伸缩驱动,运动冗余软臂与肌腱驱动的软机器人夹具。硬件设计针对实际使用的耐用性和模块化进行了优化。收获过程分为四个阶段:初始放置、精细定位、抓取和移动回原位。对于初始布局,我们提出了一个实时的,连续的增益调度冗余解决算法,同时位置和姿态控制与关节限制避免。该算法仅依赖于视觉反馈,从眼睛到手的相机,并实现了$0.64\pm{0.27}$毫米和$1.08\pm{1.5}^{\circ}$,分别在台式设置的位置和方向跟踪误差。在机器人手臂精确的初始位置之后,使用手眼和手眼视觉反馈的组合实现精细定位,达到$0.75\pm{0.36}$ mm的精度。该系统的硬件、反馈框架和控制方法通过台式和现场测试进行了彻底验证,确认了实际应用的可行性。
2023-03-15 cs.RO
Bayesian Meta-Learning for Few-Shot Policy Adaptation Across Robotic Platforms
Stanford University(斯坦福大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
强化学习方法可以实现显著的性能,但需要在同一机器人平台上收集大量的训练数据。用昂贵的数据训练的策略在对机器人硬件进行哪怕是微小的更改后都变得无用。在本文中,我们解决了具有挑战性的问题,适应的政策,训练执行任务,一个新的机器人硬件平台,只有几个演示的机器人运动轨迹的目标机器人。我们将其表述为一个Few-Shot元学习问题,其目标是找到一个元模型,该元模型捕获不同机器人平台之间共享的共同结构,以便可以执行数据高效的自适应。我们通过引入由基于概率梯度的Meta学习算法组成的学习框架来实现这样的适应,该元学习算法利用低维潜变量对由Few-Shot设置引起的不确定性进行建模。我们实验评估我们的框架上的模拟达到和一个真正的机器人采摘任务,使用400个模拟机器人产生的物理参数不同的现有的一组机器人平台。我们的研究结果表明,所提出的方法可以成功地适应不同的机器人平台与新的物理参数和我们的Meta学习算法的优越性相比,国家的最先进的方法引入的Few-Shot政策适应问题。
2021-03-05 cs.AI cs.RO
Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
本文提出利用顺序性偏置,通过单次演示学习目标条件策略,并设计DCIL-II算法解决连续目标兼容性问题,以高样本效率完成人形机器人行走、站立及Cassie快速奔跑等复杂任务。
2023-04-17 cs.AI cs.RO
Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning
UZH(苏黎世大学);Intel(英特尔);Intel Labs(英特尔实验室)
本文以自主无人机竞速为场景,对比发现强化学习因直接优化任务级目标并利用域随机化,在控制性能上优于依赖轨迹规划分解的最优控制,实现了超12倍重力加速度和超人类水平的敏捷飞行。
2023-10-18 cs.LG cs.RO
Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Google Deepmind(谷歌DeepMind)
本文提出统一的目标条件策略,将导航与操作视为同一目标到达任务,验证跨异构具身协同训练可提升操作鲁棒性并实现新型移动操作机器人零样本控制。
2024-02-29 cs.RO
Revisiting Sparse Rewards for Goal-Reaching Reinforcement Learning
Ocado Technology(奥卡多科技);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
该研究针对目标达成强化学习中稀疏奖励常被忽视的问题,对比最短时间任务的稀疏奖励与密集奖励范式,发现稀疏奖励可习得更优策略,还确定初始策略目标命中率为学习成功的早期指标,并在四种实体机器人平台验证了2-3小时从零学习像素级策略的可行性。
2024-07-08 cs.LG cs.RO
Towards a Sample Efficient Reinforcement Learning Pipeline for Vision Based Robotics
MINES ParisTech, PSL Research University(巴黎高等矿业学院,巴黎文理研究大学)
深度强化学习保证了自我管理的机器人能够掌握大量的行为能力,而人类的干预可以忽略不计。这项技术带来的改进使机器人能够执行困难的任务,如抓取或到达目标。然而,训练过程仍然是耗时和繁琐的,特别是当仅使用RGB相机信息学习策略时。这种学习方式是将任务从模拟转移到现实世界的资本,因为机器人在现实生活中唯一的外部信息来源是视频。在本文中,我们研究如何限制训练机器人手臂的时间与6自由度(DOF),达到一个球从头组装管道尽可能有效。该流水线分为两个部分:第一部分是用计算机视觉算法从RGB视频中捕获相关信息。第二个研究如何更快地训练深度强化学习算法,以使机器人手臂到达他面前的目标。点击此链接查找更高分辨率的视频和绘图:\url{https://drive.google.com/drive/folders/1_lRlDSoPzd_GTcVrxNip10o_lm-_DPdn?usp=sharing}
2021-05-20 cs.AI cs.RO
Learning Visual Robotic Control Efficiently with Contrastive Pre-training and Data Augmentation
New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校)
无监督表示学习的最新进展显着提高了模拟环境中训练强化学习策略的样本效率。然而,类似的收益还没有看到真正的机器人强化学习。在这项工作中,我们专注于从像素实现数据高效的真实机器人学习。我们提出了用于高效机器人学习(CoDER)的对比预训练和数据增强,这是一种利用数据增强和无监督学习来实现稀疏奖励的真实机器人手臂策略的样本有效训练的方法。虽然对比预训练、数据增强、演示和强化学习本身不足以实现有效的学习,但我们的主要贡献是将这些不同的技术结合起来,从而产生了一种简单但数据高效的方法。我们证明,只要给出10个演示,一个机器人手臂就可以从像素中学习稀疏奖励操作策略,例如在30分钟的平均真实训练时间内达到,拾取,移动,拉动大型物体,翻转开关和打开抽屉。我们在项目网站上提供了视频和代码:https://sites.google.com/view/efficient-robotic-manipulation/home
2022-10-17 cs.AI cs.LG cs.RO
Goal-Reaching Policy Learning from Non-Expert Observations via Effective Subgoal Guidance
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Donghai Laboratory(东海实验室)
针对非专家、无动作观测中的长时域目标到达问题,提出基于扩散策略的子目标生成与状态—目标价值引导,并集成到离策略 actor-critic 中,显著提升机器人导航与操作性能。
2024-09-06 cs.LG cs.RO
Transfer learning from synthetic to real images using variational autoencoders for robotic applications
IBM Research - Tokyo, IBM Japan(IBM日本东京研究院);LeapMind Inc.(LeapMind公司)
模拟环境中的机器人学习提供了比直接使用物理机器人学习更快,更可扩展,更安全的训练方法。此外,在用于收集大规模图像数据的模拟环境中合成图像是容易的,而在现实世界中捕获相机图像是耗时且昂贵的。然而,由于合成图像和真实图像之间的差距,仅从合成图像学习可能无法在真实环境中实现期望的性能。因此,我们提出了一种方法,将学习到的检测物体位置的能力从模拟环境转移到现实世界。我们的方法使我们能够只使用一个非常有限的数据集的真实图像,同时利用一个大的数据集的合成图像使用多个变分自编码器。它比直接从真实图像数据集学习的基线更精确地检测对象位置6到7倍。不同环境条件下的物体位置估计是标准机器人操作任务的基本要求之一。我们表明,所提出的方法在不同的照明条件下,或与其他干扰对象存在此要求的鲁棒性。使用这个检测到的物体位置,我们将在模拟环境中学习的拾取和放置或到达任务转移到实际的物理机器人,而无需重新训练。
2017-09-20 cs.CV cs.RO
A novel agent with formal goal-reaching guarantees: an experimental study with a mobile robot
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Deggendorf Institute of Technology(代根多夫应用技术大学)
提出新型安全无模型RL智能体CALF,通过形式化保证稳定到达目标且不限制探索,在TurtleBot3实验中总成本优于PPO和SARSA。
2024-09-23 cs.AI cs.RO math.DS
Learning to Autonomously Reach Objects with NICO and Grow-When-Required Networks
University of Hamburg(汉堡大学)
对于机器人智能体来说,伸手去拿物体是一项基本但复杂的技能,需要高度的视觉控制和协调。考虑到动态环境,需要能够自主适应新情况的机器人。在本文中,一个发展机器人的方法是用来自主学习视觉协调的NICO(神经启发的COMPANION)平台上,为目标达成的任务。机器人与环境交互,并学习运动命令和基于Hebbian学习的时间相关的感官知觉之间的关联。多个按需生长(GWR)网络用于学习越来越复杂的运动行为,首先学习如何将目光指向视觉刺激,然后学习手臂的运动控制,最后学习如何使用眼手协调来达到物体。我们证明,该模型是能够处理一个不可预见的机械变化的NICO的身体,所提出的方法的适应性。在我们的方法的评估,我们表明,人形机器人NICO是能够达到76%的成功率的对象。
2022-10-17 cs.AI cs.RO
Simple Models, Real Swimming: Digital Twins for Tendon-Driven Underwater Robots
Soft Robotics Lab and ETH AI Center, ETH Zurich(ETH苏黎世人工智能中心);Prema Lab, New York University(纽约大学Prema实验室);CREATE Lab, EPFL(EPFL CREATE实验室)
本文提出了一种基于简化流体力学模型的腱驱动水下机器人,通过高效模拟环境实现快速泛化,展示了其在强化学习中的有效性及作为数字孪生的潜力。
2026-02-26 cs.RO
Efficient Precision-Scalable Hardware for Microscaling (MX) Processing in Robotics Learning
KU Leuven, Belgium(卢森堡大学);Nanjing University, China(南京大学)
本文提出了一种高效精度可扩展硬件,支持微缩处理,通过子字并行和统一整数浮点处理,提升机器人边缘持续学习的能效和吞吐量。
2025-07-23 cs.AR cs.RO
Learning Behavior Trees with Genetic Programming in Unpredictable Environments
ABB Corporate Research(ABB集团研究院);ABB Robotics(ABB机器人);Royal Institute of Technology (KTH)(瑞典皇家理工学院(KTH))
现代工业应用要求机器人能够在不可预测的环境中运行,并且需要以最小的努力创建程序,因为任务可能会频繁更改。在本文中,我们表明,遗传编程可以有效地用于学习的行为树(BT)的结构,以解决机器人在不可预测的环境中的任务。此外,我们建议使用一个简单的模拟器的学习,并证明学习的BT可以解决相同的任务在一个现实的模拟器,达到收敛,而不需要任务特定的算法。学习的解决方案是容错的,使我们的方法吸引真正的机器人应用。
2020-11-06 cs.AI cs.RO
REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning
UC Berkeley(加州大学伯克利分校)
标准化的评估措施有助于机器学习方法在计算机视觉和机器翻译等学科中的进步。在本文中,我们提出了机器人学习也将受益于基准测试的情况,并提出了“REPLAB”平台,用于基准测试基于视觉的操作任务。REPLAB是一个可复制和自包含的硬件堆栈(机器人手臂,摄像头和工作空间),成本约为2000美元,占地面积为70x40x60 cm的长方体,并允许在几个小时内完全组装。通过这种低成本、紧凑的设计,REPLAB旨在通过降低进入机器人领域的门槛来推动广泛的参与,并使许多机器人能够轻松扩展。我们设想REPLAB作为跨操作任务的可重复研究的框架,并作为在这个方向上的一步,我们定义了一个模板,包括任务定义,评估协议,性能指标,和92k抓取尝试的数据集的把握基准。我们实施,评估和分析几个以前提出的抓方法,建立基准。最后,我们还在REPLAB平台上实现并评估了一种用于3D到达任务的深度强化学习方法。包含汇编说明、代码和视频的项目页面:https://goo.gl/5F9dP4。
2019-05-17 cs.CV cs.LG cs.RO
Improved Reinforcement Learning Coordinated Control of a Mobile Manipulator using Joint Clamping
University College London(伦敦大学学院);University of Ioannina(约阿尼纳大学)
许多机器人路径规划问题是连续的、随机的、高维的。当需要避免自身和环境碰撞时,移动机械手协调其基座和机械手以在线控制其全身的能力特别具有挑战性。强化学习技术有可能通过其对环境的概括能力来解决这些问题。我们研究联合处罚和联合限制的国家的最先进的移动机械手全身控制器,使用激光雷达传感避障。我们提出了改进强化学习方法的方向。我们的代理在达到目标的环境中实现了比基线更高的成功率,并且它可以解决需要协调全身控制的环境,而基线失败了。
2021-10-05 cs.RO
On Policy Learning Robust to Irreversible Events: An Application to Robotic In-Hand Manipulation
Technical University of Munich(慕尼黑工业大学);ABB Corporate Research(ABB企业研究院);German Aerospace Center (DLR)(德国航空航天中心)
在这封信中,我们提出了一种方法来学习手操作技能与低成本,欠驱动假肢手的存在下,不可逆的事件。我们的方法结合了基于视觉感知的强化学习和基于触觉感知的低级反应控制,旨在避免滑倒。强化学习层的目标不仅在于实现手内操纵目标,而且在于最小化触觉反应控制的干预。这样,在学习过程中,我们认为是不可逆事件的物体滑动的发生率显着降低。当不可逆事件发生时,学习过程被认为失败。我们在两个任务中展示了性能,其中包括仅使用手指重新定位杯子和瓶子。实验结果表明,所提出的架构允许在笛卡尔空间中达到目标,并显着减少在学习过程中的对象滑动的发生。此外,如果没有反应控制和强化学习之间的协同作用,就不可能避免不可逆的事件,因此也不可能学习任务。
2019-11-20 cs.AI cs.LG cs.RO
gym-gazebo2, a toolkit for reinforcement learning using ROS 2 and Gazebo
Acutronic Robotics(Acutronic Robotics(机器人公司))
本文提出了一个升级的,面向现实世界应用的版本gym-gazebo,机器人操作系统(ROS)和基于Gazebo的强化学习(RL)工具包,它符合OpenAI Gym。讨论了新的基于ROS 2的软件体系结构,并总结了使用近端策略优化(PPO)获得的结果。最终,这项工作的输出提出了一个机器人基准测试系统,允许使用相同的虚拟条件比较不同的技术和算法。我们已经评估了模块化关节机械臂(MARA)不同复杂程度的环境,达到毫米级的精度。融合结果显示了gym-gazebo 2工具包的可行性和实用性,以及其在使用模块化机器人的工业用例中的潜力和适用性。
2019-03-18 cs.AI cs.LG cs.RO
RoboSolver: A Multi-Agent Large Language Model Framework for Solving Robotic Arm Problems
Sharif University of Technology(谢里夫理工大学);Islamic Azad University(伊斯兰阿扎德大学)
RoboSolver通过多智能体框架结合LLM和VLM,实现机器人臂问题的自动求解,准确率达0.97。
2026-02-16 cs.MA cs.RO
RoboBallet: Planning for Multi-Robot Reaching with Graph Neural Networks and Reinforcement Learning
Google DeepMind(谷歌DeepMind);University College London(伦敦大学学院);Intrinsic
针对多机器人共享工作空间中的任务分配、调度与运动规划难题,提出基于图神经网络和强化学习的框架,实现零样本泛化,并支持布局优化与快速重规划。
2025-09-05 cs.LG cs.RO
ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning
Technical University of Darmstadt(达姆施塔特工业大学);Robotics Institute Germany (RIG)(德国机器人研究所);German Research Center for AI (DFKI)(德国人工智能研究中心)
ChronoSRL通过为批评者嵌入赋予时序几何,将状态-动作与目标间的距离训练为匹配到达时间,并预测到达时间分布及目标附近停留时间,从而在多个基准和四足机器人任务上实现更快、更可靠的学习,超越现有自监督强化学习方法。
2026-09-30 cs.AI cs.RO
Can a Robot Shoot an Olympic Recurve Bow? A preliminary study
National Taiwan Normal University(台湾师范大学)
机器人领域,尤其是人形机器人领域,已经举办了几项以研究为目标的竞赛。这些比赛让机器人完成一些任务,提供了一种衡量机器人设计最先进水平的方法,也是一个指标,表明我们离人类的表现还有多远。最著名的比赛是RoboCup,它的长期目标是在2050年与真正的人类球队竞争,以及FIRA HuroCup联赛,其中人形机器人必须根据实际的奥运赛事执行任务。让机器人在相同的规则下与人类竞争是一个具有挑战性的目标,我们相信,在射箭运动中,人形机器人最有潜力在不久的将来实现这一目标。在这项工作中,我们朝着这个方向迈出了第一步。我们提出了一个人形机器人,是能够抓住,绘图和射击反曲弓在10米远的目标相当准确。此外,我们还表明,它也能够拍摄超过50米的距离。
2022-12-21 cs.RO cs.SY eess.SY