rSoccer: A Framework for Studying Reinforcement Learning in Small and Very Small Size Robot Soccer
Universidade Federal de Pernambuco(伯南布哥联邦大学)
强化学习是一个活跃的研究领域,在机器人技术中有大量的应用,RoboCup比赛是研究和评估强化学习方法的有趣环境。将强化学习应用于机器人技术的一个已知困难是需要大量的经验样本,使用模拟环境来训练代理,然后迁移学习到现实世界(模拟到现实)是一条可行的路径。本文介绍了一个开源的模拟器,用于IEEE非常小尺寸足球和小尺寸联赛优化强化学习实验。我们还提出了一个框架,用于创建OpenAI Gym环境,其中包含一组用于评估单智能体和多智能体机器人足球技能的基准任务。然后,我们展示了两个国家的最先进的强化学习方法的学习能力,以及在此框架中引入的某些情况下,他们的局限性。我们相信这将使更多的团队更容易使用端到端的强化学习方法在这些类别中竞争,并进一步发展这一研究领域。
2021-06-15 cs.AI cs.LG cs.RO
Optimal Gait Control for a Tendon-driven Soft Quadruped Robot by Model-based Reinforcement Learning
Department of Engineering Design, KTH Royal Institute of Technology, Stockholm 10044, Sweden(工程设计系,皇家理工学院,斯德哥尔摩)
本文提出一种基于模型强化学习的软四足机器人最优步态控制方法,通过多阶段方法提升步态控制器性能,实现快速稳定运动。
2024-06-11 cs.RO cs.SY eess.SY
Decentralized Circle Formation Control for Fish-like Robots in the Real-world via Reinforcement Learning
College of Engineering, Peking University(北京大学工学院);Microsoft Research Asia(微软亚洲研究院);National Engineering Research Center of Software Engineering, Peking University(北京大学国家软件工程研究中心)
研究了一类具有未知非线性动力学和干扰的欠驱动仿鱼机器人的圆编队控制问题。基于强化学习和认知一致性理论,提出了一种分散控制器,该控制器不需要鱼形机器人的动力学知识。所提出的控制器可以从仿真转移到现实。它只在我们建立的仿真环境中进行训练,经过训练的控制器可以部署到真正的机器人上,而无需任何手动调整。仿真结果表明,所提出的无模型鲁棒编队控制方法是可扩展的相对于组的机器人的大小,并优于其他代表RL算法。在现实世界中的几个实验验证了我们的RL为基础的方法的有效性圆编队控制。
2021-03-09 cs.AI cs.MA cs.RO
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行,但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中,我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合,强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym,并消除了管理物理机器人系统的负担,将其抽象为熟悉的API。我们介绍了一个导航任务,机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入,并提供基线结果在真实的环境和模拟副本。要开始培训,请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
Benchmarking Reinforcement Learning Algorithms on Real-World Robots
通过最近在仿真方面的许多成功,无模型强化学习已经成为解决连续控制机器人任务的一种有前途的方法。由于学习算法和模拟基准任务的开源实现,研究社区现在能够快速地再现、分析和构建这些结果。为了将这些成功推广到现实世界的应用中,关键是要保留无法转移到现实世界的模拟的独特优势,并直接使用物理机器人进行实验。然而,由于缺乏基准任务和支持源代码,使用物理机器人的强化学习研究面临着巨大的阻力。在这项工作中,我们介绍了几个强化学习任务与多个商用机器人,目前不同程度的学习难度,设置和可重复性。在这些任务中,我们测试了四种强化学习算法的现成实现的学习性能,并分析了它们对超参数的敏感性,以确定它们是否适合应用于各种现实任务。我们的研究结果表明,通过仔细设置任务界面和计算,其中一些实现可以很容易地适用于物理机器人。我们发现,国家的最先进的学习算法是高度敏感的超参数和它们的相对顺序不跨任务转移,表明重新调整他们为每个任务的最佳性能的必要性。另一方面,即使使用不同的机器人,一项任务的最佳超参数配置通常也可能会导致对已完成任务的有效学习,从而提供合理的默认值。我们公开了基准任务,以提高现实世界强化学习的可重复性。
2018-09-20 cs.AI cs.LG cs.RO
Deep Reinforcement Learning in Surgical Robotics: Enhancing the Automation Level
Technical University of Munich(慕尼黑工业大学);The Chinese University of Hong Kong(香港中文大学)
本文综述了强化学习在手术机器人中的应用,涵盖术前、体内和经皮手术,指出其能提升机器人自主性、精度,并教会复杂任务如缝合和组织操作。
2023-09-02 cs.RO
Guided Deep Reinforcement Learning for Articulated Swimming Robots
Columbia University(哥伦比亚大学)
深度强化学习最近已应用于各种机器人应用,但具有非常规配置的机器人的学习运动仍然有限。先前的工作已经表明,尽管关节式游泳机器人的建模很简单,但由于搜索空间的异质性,这种系统很难使用强化学习找到有效的步态。在这项工作中,我们利用这些机器人的几何模型的洞察力,以专注于空间的有前途的区域,并指导学习过程。我们证明了我们的增强学习技术能够在低雷诺数和高雷诺数流体中为游泳机器人产生不同学习目标的步态。
2023-01-30 cs.RO
MASQ: Multi-Agent Reinforcement Learning for Single Quadruped Robot Locomotion
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));School of Mechanical Engineering and Automation(机械工程与自动化学院);Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics(广东省智能变胞机构与自适应机器人重点实验室)
本文提出MASQ方法,将单体四足机器人的每条腿视为智能体,通过共享全局评论家的多智能体强化学习进行协作探索,显著提升了运动学习的收敛速度与真实环境中的鲁棒性。
2024-10-17 cs.RO
Collisionless Pattern Discovery in Robot Swarms Using Deep Reinforcement Learning
Louisiana State University(路易斯安那州立大学);Kent State University(肯特州立大学)
我们提出了一个基于深度强化学习的框架,用于自动发现脂肪机器人群的任何给定初始配置中可用的模式。特别是,我们模型的问题,无碰撞收集和相互可见性的脂肪机器人群,并发现使用我们的框架来解决它们的模式。我们表明,通过基于某些约束(如相互可见性和安全接近度)塑造奖励信号,机器人可以发现无碰撞的轨迹,从而形成良好的聚集和可见性模式。
2022-09-20 cs.RO
Evaluation of Deep Reinforcement Learning Methods for Modular Robots
Erle Robotics(厄勒机器人公司)
我们提出了一个新的框架,深度强化学习(DRL)在模块化机器人使用传统的机器人工具,扩展国家的最先进的DRL实现,并提供一个端到端的方法,直接从关节状态训练机器人。此外,我们提出了一种新的技术,将这些DLR方法转移到真正的机器人,旨在关闭模拟现实的差距。我们展示了最先进的DRL方法在模块化机器人中连续动作空间的性能的鲁棒性,在模拟和真实机器人中进行了实证研究,我们还评估了加速模拟时间如何影响机器人的性能。我们的研究结果表明,扩展模块化机器人从3度的自由度(DoF),4自由度,不影响机器人的学习。这为使用DRL技术训练模块化机器人铺平了道路。
2018-02-07 cs.RO
Intrinsically motivated reinforcement learning for human-robot interaction in the real-world
为了实现自然的社会性人机交互,机器人学习类似人类的社会技能是必不可少的。然而,学习这些技能是出了名的困难,因为人们教机器人的直接指令有限。在本文中,我们提出了一个内在动机的强化学习框架中,一个代理获得的内在动机为基础的奖励,通过行动条件预测模型。通过使用所提出的方法,机器人学习的社会技能,从人与机器人在真实的不受控制的环境中收集的互动经验。结果表明,机器人不仅获得了类似人类的社交技能,而且在测试数据集上做出了更多类似人类的决策,而不是直接获得任务成就奖励的机器人。
2018-04-14 cs.RO
MARLIN: Multi-Agent Reinforcement Learning Guided by Language-Based Inter-Robot Negotiation
University of Southampton(南安普顿大学)
MARLIN通过语言引导的多机器人协商与强化学习结合,提升早期训练性能和最终效果,采用语言模型进行高层规划和行动协商。
2026-11-05 cs.RO
Reinforcement Learning for Robotic Safe Control with Force Sensing
本文提出基于力感知的强化学习方法,提升机器人在复杂环境中的安全性和可靠性,通过实验验证其在物体推动任务中的高效性与安全性。
2025-10-30 cs.RO
Robot Crowd Navigation in Dynamic Environment with Offline Reinforcement Learning
Wuhan University of Science and Technology(武汉科技大学)
针对在线深度强化学习在机器人人群导航中探索不安全、采样效率低的问题,提出融合时空状态与 implicit Q-Learning 的离线强化学习算法,并通过实验证明其优于现有方法。
2023-12-18 cs.RO
Multi-Robot Cooperative Socially-Aware Navigation Using Multi-Agent Reinforcement Learning
Purdue University(普渡大学);College of Mechanical and Electrical Engineering, Beijing University of Chemical Technology(北京化工大学机电工程学院)
针对公共空间多机器人社会导航存在的仿真现实差距问题,提出结合时空Transformer与多智能体强化学习的SAMARL基准及对应Dec-POSMDP环境,实验证明其性能优于现有基线与消融模型。
2024-05-15 cs.RO
End-to-end Decentralized Multi-robot Navigation in Unknown Complex Environments via Deep Reinforcement Learning
Sun Yat-sen University(中山大学)
本文提出了一种基于深度强化学习(DRL)的机器人团队导航方法,通过未知的复杂环境,机器人团队的几何质心旨在到达目标位置,同时避免碰撞并保持连通性。分散的机器人级别的政策是使用集中学习和分散执行的机制。所提出的方法可以得到端到端的政策,映射到机器人的速度控制命令的原始激光雷达测量,而无需构建障碍物地图。仿真和室内真实无人地面车辆(UGV)实验结果验证了该方法的有效性。
2019-07-03 cs.RO
LiPS: Large-Scale Humanoid Robot Reinforcement Learning with Parallel-Series Structures
本文提出LiPS训练方法,通过在仿真环境中引入多刚体动力学建模,解决人形机器人强化学习训练中开环拓扑与串并联结构转换的sim2real差距问题,支持大规模并行训练。
2025-03-11 cs.RO
Obtaining Robust Control and Navigation Policies for Multi-Robot Navigation via Deep Reinforcement Learning
Fraunhofer IML(弗劳恩霍夫物流研究院);Westfälische Hochschule Gelsenkirchen(盖尔森基兴威斯特伐利亚应用科学大学)
多机器人导航是一个具有挑战性的任务,其中多个机器人必须同时协调动态环境中。我们应用深度强化学习(DRL)来学习一种分散的端到端策略,该策略将原始传感器数据映射到代理的命令速度。为了使策略能够泛化,在不同的环境和场景中执行训练。在常见的多机器人场景中,如切换一个地方,一个十字路口和一个瓶颈的情况下,学习的政策进行测试和评估。此策略允许代理从死胡同中恢复并在复杂环境中导航。
2022-09-07 cs.RO
Learning Skateboarding for Humanoid Robots through Massively Parallel Reinforcement Learning
University of Waterloo(滑铁卢大学);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本研究将人形机器人运动的周期性奖励强化学习方法拓展至滑板任务,用Brax/MJX实现大规模并行训练以提升效率,已取得仿真初步结果,硬件实验正在推进。
2024-09-12 cs.RO
Agile Robotics: Optimal Control, Reinforcement Learning, and Differentiable Simulation
University of Zurich(苏黎世大学)
本文围绕如何提升自主机器人在极限任务中的敏捷性并保持抗扰鲁棒性,提出融合最优控制、强化学习与可微仿真的控制算法设计思路。
2024-05-25 cs.RO
MultiRoboLearn: An open-source Framework for Multi-robot Deep Reinforcement Learning
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
众所周知,很难有一个可靠而健壮的框架将多智能体深度强化学习算法与实际的多机器人应用联系起来。为了填补这一空白,我们提出并建立了一个开源的框架,多机器人系统称为MultiRoboLearn1。该框架构建了模拟和真实世界应用程序的统一设置。它旨在提供标准的,易于使用的模拟场景,也可以很容易地部署到现实世界的多机器人环境。此外,该框架为研究人员提供了一个基准系统,用于比较不同强化学习算法的性能。我们展示了框架的通用性,可扩展性和能力,在离散和连续动作空间中使用不同类型的多智能体深度强化学习算法。
2022-09-28 cs.RO
Locomotion Generation for a Rat Robot based on Environmental Changes via Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Sun Yat-Sen University(中山大学)
针对小型四足大鼠机器人NeRmo传感器少、感知弱导致难生成自适应运动的问题,提出结合步频与傅里叶正弦函数提取感知信息、搭配多功能奖励机制的强化学习方法,仿真验证其可在多地形实现稳定运动。
2024-04-14 cs.RO
A Study of Reinforcement Learning Algorithms for Aggregates of Minimalistic Robots
Worcester Polytechnic Institute(伍斯特理工学院)
本文的目的是研究如何将深度强化学习应用于极简机器人的控制。我们将聚合体定义为具有物理连接的机器人组,这些连接迫使它们形成特定的形状。在我们的例子中,机器人被预先附着在一个物体上,这个物体必须被集体运输到一个已知的位置。在我们的环境中,极简主义源于我们假设的基本能力:机器人可以感知目标位置和直接障碍物,但缺乏明确沟通的手段,例如,信息传递在我们的环境中,沟通是隐含的,即,通过每个机器人施加在物体上的聚合推拉来调节。我们分析了四种著名的深度强化学习算法(DQN,DDQN,DDPG和TD3)达到协调行为的能力。我们的实验包括机器人故障和不同类型的环境障碍。我们比较了发现的最佳控制策略的性能,突出了每个所考虑的训练算法的优点和缺点。
2022-03-28 cs.RO
MARC: A multi-agent robots control framework for enhancing reinforcement learning in construction tasks
The University of British Columbia(不列颠哥伦比亚大学)
本文提出MARC多智能体机器人控制框架,基于近端策略优化实现建筑任务中的机器人协作,有效防止碰撞并提升任务执行效率。
2023-05-23 cs.RO
Energy-based Legged Robots Terrain Traversability Modeling via Deep Inverse Reinforcement Learning
University of Michigan(密歇根大学)
这项工作报告开发一个深逆强化学习方法的足式机器人地形可穿越性建模,结合了外感受和本体感受的感觉数据。现有的作品使用机器人不可知的外感受环境功能或手工制作的运动学功能,相反,我们建议还学习机器人特定的惯性功能,从本体感觉的感官数据奖励近似在一个单一的深神经网络。简化惯性特征可以提高模型保真度,并提供取决于部署期间机器人状态的奖励。我们使用最大熵深度逆强化学习(MEDIRL)算法训练奖励网络,并同时提出最小化轨迹排序损失来处理足式机器人演示的次优性。演示的轨迹排名的运动能量消耗,为了学习一个能源意识的奖励函数和更节能的政策比演示。我们评估我们的方法使用的数据集收集的MIT迷你猎豹机器人和迷你猎豹模拟器。该代码可在https://github.com/ganlumomo/minicheetah-traversability-irl上公开获取。
2022-07-07 cs.RO
Impact-Aware Online Motion Planning for Fully-Actuated Bipedal Robot Walking
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
跟踪具有特定定时的一般步行路径的能力对于双足机器人在复杂环境中避免动态障碍物(例如行人)的操作安全性和可靠性至关重要。本文介绍了一个在线的,全身运动规划器,产生所需的影响意识的运动,全驱动双足机器人行走。所提出的规划器的主要新颖之处在于它能够实时产生所需的运动,尊重离散的冲击动力学和所需的冲击时间。为了得到建议的规划,全驱动双足机器人行走的全阶混合动力学模型,包括连续动力学和离散装载的影响。接下来,介绍了所提出的影响感知在线运动规划器。最后,一个3-D双足机器人的仿真结果证实了所提出的在线碰撞感知规划器的有效性。在线规划器能够在0.6秒内生成一个步行步的全身运动,这比典型的双足步行步短。
2019-10-25 cs.RO
OnEvoMemory: Evolving Memory through Online Robot Rollouts for Pretrained Robot Policies
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
针对现有机器人记忆机制依赖外部模型的问题,提出OnEvoMemory价值引导记忆模块,结合离线初始化与在线试跑优化记忆选择,提升了基础VLA策略在长时程机器人操作中的性能。
2026-08-11 cs.RO
Active Embodiment Identification with Reinforcement Learning for Legged Robots
Department of Computer Science, Technical University of Darmstadt(德累斯顿技术大学计算机科学系);Robotics Institute Germany (RIG)(德国机器人研究所(RIG);德国人工智能研究中心(DFKI);hessian.AI);German Research Center for AI (DFKI);hessian.AI
本文提出一种结合信息寻求行为与显式具身预测的主动具身识别方法,通过仿真环境中的交互学习不同形态机器人的关节级和全局具身参数。
2026-05-08 cs.RO
Diffusion Reinforcement Learning Based Online 3D Bin Packing Spatial Strategy Optimization
本文提出一种基于扩散强化学习的算法,通过马尔可夫决策链建模装箱问题,采用高度图状态表示和扩散模型行为网络,实验表明在复杂在线场景中显著提高了装箱物品数量。
2026-04-13 cs.RO
Robot Navigation with Map-Based Deep Reinforcement Learning
University of Science and Technology of China(中国科学技术大学)
提出了一种端到端的深度强化学习方法,用于移动机器人导航和动态避障。使用在模拟环境中收集的经验,卷积神经网络(CNN)进行训练,以预测适当的转向动作的机器人从其自我中心的本地占用地图,其中容纳各种传感器和融合算法。然后将训练好的神经网络传输到一个真实的移动机器人上,指导其局部路径规划。新的方法进行了评估,定性和定量的仿真和现实世界的机器人实验。结果表明,基于地图的端到端导航模型易于部署到机器人平台上,对传感器噪声具有鲁棒性,在多项指标上优于现有的基于DRL的导航模型.
2020-02-11 cs.RO
Quadruped Robot Simulation Using Deep Reinforcement Learning -- A step towards locomotion policy
Asian Institute of Technology(亚洲理工学院);RaiSim Tech Inc(RaiSim科技公司)
本文提出一种基于深度强化学习的四足机器人仿真训练方法,利用raisimGymTorch和RaiSim仿真ANYmal,通过近端策略优化算法求解MDP,在有限资源下实现有效运动策略,并为后续研究提供基础。
2025-02-23 cs.RO
A Comparison of Various Approaches to Reinforcement Learning Algorithms for Multi-robot Box Pushing
University of Nevada, Reno(内华达大学里诺分校)
在本文中,比较强化学习算法和它们的性能在机器人推箱子的任务。机器人推箱问题被构造为单智能体问题和多智能体问题。将一种Q-学习算法应用于单智能体推箱问题,将三种不同的Q-学习算法应用于多智能体推箱问题。这两套算法都适用于一个动态的环境,是由静态对象,一个静态的目标位置,一个动态的盒子位置,和动态代理位置。开发了一个仿真环境来测试这四种算法,并通过对测试结果的图形化解释来比较它们的性能。比较表明,新应用的增强算法优于以前应用的机器人推箱问题在动态环境中的算法。
2018-09-21 cs.RO
Obstacle-Aware Navigation of Soft Growing Robots via Deep Reinforcement Learning
Egypt-Japan University of Science and Technology(埃及日本科技大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出深度强化Q-learning算法,将机器人与环境交互纳入决策,使软体生长机器人能在杂乱受限空间中实现障碍物感知导航。
2024-01-23 cs.RO
Distributed Multi-Robot Obstacle Avoidance via Logarithmic Map-based Deep Reinforcement Learning
Zhejiang University(浙江大学);NetEase(网易)
在拥挤和狭窄的场景中为多个机器人开发安全,稳定和高效的避障策略具有挑战性。大多数现有的研究要么使用集中控制,要么需要与其他机器人进行通信。在本文中,我们提出了一种新的基于对数地图的深度强化学习方法,用于复杂和无通信的多机器人场景中的避障。特别是,我们的方法将激光信息转换为对数映射。作为提高训练速度和泛化性能的一步,我们的策略将在两个专门设计的多机器人场景中进行训练。与其他方法相比,对数地图能更准确地表示障碍物,提高避障成功率。最后,我们评估我们的方法在各种模拟和现实世界的情况下。实验结果表明,该方法在复杂的多机器人场景和行人场景中为机器人提供了一种更稳定、更有效的导航解决方案。有关视频,请访问https://youtu.be/r0EsUXe6MZE。
2022-09-14 cs.RO
An Efficient Multi-Robot Arm Coordination Strategy for Pick-and-Place Tasks using Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
本文提出一种基于强化学习的多机器人废物分拣策略,通过构建OpenAI gym环境并训练深度强化学习网络优化抓取率,实验证明其性能优于组合博弈论方法,抓取率提升达16%,并在双机器人硬件上得到验证。
2024-09-20 cs.RO
Deep Reinforcement Learning for the Control of Robotic Manipulation: A Focussed Mini-Review
ICube Lab Robotics Department Strasbourg University UMR 7357 CNRS(斯特拉斯堡大学ICube实验室机器人系 UMR 7357 CNRS);ICube Lab UMR 7357 Centre National de la Recherche Scientifique CNRS(ICube实验室 UMR 7357 法国国家科学研究中心)
深度学习提供了操纵、处理和分析数据的新方法。它有时可能达到与人类专家表现相当或超过人类专家表现的结果,并已成为人工智能时代的灵感来源。机器学习的另一个子领域称为强化学习,试图通过与环境的交互来找到最佳行为策略。结合深度学习和强化学习可以解决与稀疏奖励信号任务(如机器人操作和控制任务)中数据的维度和可扩展性相关的关键问题,这两种方法都不允许单独应用。本文介绍了深度强化学习算法的最新进展,这些算法试图解决机器人操作控制领域的应用问题,如样本效率和泛化能力。尽管有这些不断的改进,目前,学习强大的和通用的操作技能的机器人与深度强化学习的挑战仍然远远没有解决现实世界的应用。
2021-02-08 cs.RO
Robotic Arm Manipulation with Inverse Reinforcement Learning & TD-MPC
North South University(北南大学)
本文提出一种基于梯度的逆强化学习框架,仅从视觉人类演示中学习代价函数,并结合TD-MPC优化轨迹,在真实机械臂上验证了基本物体操作任务。
2024-08-07 cs.RO
Quad2Plane: An Intermediate Training Procedure for Online Exploration in Aerial Robotics via Receding Horizon Control
University of Bristol(布里斯托大学)
数据驱动的机器人依赖于准确的现实世界表示来学习有用的策略。尽管我们尽了最大的努力,zero-shot仿真到现实迁移仍然是一个未解决的问题,我们经常需要允许我们的代理在线探索,以学习对给定任务有用的策略。对于许多应用领域的机器人在线探索是昂贵和危险的,这是特别真实的固定翼空中机器人。为了应对这些挑战,我们提供了一个用于现场机器人学习的中间解决方案。我们研究了使用不同的平台车辆学习,并提供了一个程序来模仿一个车辆与另一个的行为。我们特别考虑的问题,训练固定翼飞机,昂贵和危险的车辆类型,使用多旋翼主机平台。使用模型预测控制方法,我们设计了一个控制器,能够模仿另一个车辆的行为,在模拟和现实世界。
2022-03-21 cs.RO
Online Dynamic Motion Planning and Control for Wheeled Biped Robots
轮式足式机器人结合了轮式机器人在适当平坦表面上行驶时的效率和足式机器人在跨越或绕过障碍物时的多功能性。本文介绍了一种规划和控制框架,以实现动态移动的轮式机器人。我们提出的车线性倒立摆模型(车LIPM)作为模板模型的滚动运动和欠驱动LIPM的接触变化,而步行。生成的运动然后由一个逆动态全身控制器跟踪,该控制器协调所有关节,包括车轮。该框架具有分层结构,并以模型预测控制(MPC)方式实现。为了验证所提出的混合运动生成方法,在仿真中设计了两种涉及不同类型障碍物的场景。据我们所知,这是第一次,这种在线动态混合运动已被证明对轮式机器人。
2020-03-07 cs.RO
SPARK: Graph-Based Online Semantic Integration System for Robot Task Planning
The University of Tokyo(东京大学)
针对机器人任务执行中语义信息在线更新未被探索的问题,提出SPARK框架,通过从环境线索提取语义信息并在线更新场景图以用于任务规划,增强了机器人在动态环境中执行任务及适应非常规空间线索的能力。
2025-06-25 cs.RO
Adaptive Robotic Tool-Tip Control Learning Considering Online Changes in Grasping State
The University of Tokyo(东京大学)
针对现有机器人工具操作方法未考虑抓取状态在线变化、难处理可变形工具的问题,提出一种含参数偏置的神经网络方法,实现工具末端估计控制与本体-工具关系在线自适应,经两类机器人实验验证有效。
2024-07-10 cs.RO
A Gait Driven Reinforcement Learning Framework for Humanoid Robots
本文提出了一种基于步态驱动的强化学习框架,用于双足机器人,通过设计奖励函数提升运动性能。
2026-02-02 cs.RO
Unguided Self-exploration in Narrow Spaces with Safety Region Enhanced Reinforcement Learning for Ackermann-steering Robots
University of Delaware(特拉华大学);Wayne State University(韦恩州立大学)
针对窄空间中阿克曼转向机器人传统运动规划易碰撞的问题,提出带矩形安全区域与无航点奖励的强化学习方法,实现无引导自主避障探索,仿真与真实机器人实验均验证了其优越性。
2024-03-06 cs.RO
Learning Locally, Communicating Globally: Reinforcement Learning of Multi-robot Task Allocation for Cooperative Transport
Toyota Motor Corporation(丰田汽车公司);Nara Institute of Science and Technology(奈良科学技术研究所)
我们考虑任务分配多对象运输使用多机器人系统,其中每个机器人选择一个对象之间的多个对象具有不同的和未知的权重。现有的集中式方法假设机器人和任务的数量是固定的,这不适用于与学习环境不同的场景。同时,现有的分布式方法将机器人和任务的最小数量限制为恒定值,使得它们适用于各种数量的机器人和任务。然而,它们不能运输重量超过观察物体的机器人的负载能力的物体。为了使其适用于不同数量的机器人和对象的不同和未知的权重,我们提出了一个框架,使用多智能体强化学习任务分配。首先,我们介绍了一个结构化的政策模型,包括1)预先设计的动态任务优先级与全球通信和2)一个基于神经网络的分布式政策模型,确定协调的时机。分布式策略在局部观察下对高优先级对象建立共识,并选择合作或独立的行动。然后,通过试验和错误的多智能体强化学习的策略进行优化。这种局部学习和全局通信的结构化策略使我们的框架适用于不同数量的机器人和具有不同和未知权重的对象,如数值模拟所示。
2022-12-06 cs.RO
Deep Reinforcement Learning for Mobile Robot Path Planning
Northeastern University(东北大学);University of Michigan(密歇根大学);University of Washington(华盛顿大学)
针对移动机器人路径规划问题,本文设计含奖励函数与参数优化的DRL算法,并结合双向搜索混合A*算法,在嵌入式机器人平台上实现更优规划且占用更少计算资源。
2024-04-10 cs.RO
High-Precise Robot Arm Manipulation based on Online Iterative Learning and Forward Simulation with Positioning Error Below End-Effector Physical Minimum Displacement
Peking University(北京大学)
精度是机器人手臂的关键性能指标,因为高精度操作允许更广泛的应用。传统的提高机器人手臂精度的方法依赖于误差补偿。然而,这些方法通常不鲁棒并且缺乏适应性。基于学习的方法提供了更大的灵活性和适应性,而目前的研究表明,它们往往无法达到高精度,并且难以处理许多需要高精度的场景。本文提出了一种基于在线迭代学习和前向仿真的高精度机械臂操作框架,该框架能够实现小于末端执行器物理最小位移的定位误差(精度)。此外,我们将多个高精度操作策略并行化,以更好地结合在线迭代学习和正向模拟。此外,我们考虑的关节角分辨率的实际机器人手臂,这是通常被忽略的相关工作。仿真和真实UR3机器人手臂平台上的一系列实验表明,我们提出的方法是有效的和有前途的。相关代码将很快发布。
2023-02-26 cs.RO
Online Non-linear Centroidal MPC for Humanoid Robot Locomotion with Step Adjustment
Istituto Italiano di Tecnologia(意大利理工学院);University of Genoa(热那亚大学);University of Manchester(曼彻斯特大学)
本文提出了一种用于人形机器人运动的具有在线步距调整能力的非线性模型预测控制器。所提出的控制器考虑系统的重心动力学来计算所需的接触力和扭矩以及接触位置。从基于简化模型的双足步行架构,所提出的方法考虑了减少质心模型,从而使机器人执行高度动态运动,同时保持控制问题仍然在线治疗。我们表明,所提出的控制器可以自动调整接触位置在单,双支持阶段。然后,测试的整体方法与模拟单腿和双腿系统执行跳跃和运行任务,分别。最后,我们验证了所提出的控制器上的位置控制的人形机器人iCub。结果表明,该策略可以防止机器人跌倒,而步行和推动外力高达40牛顿1秒施加在机器人手臂。
2022-03-10 cs.RO
Adaptive actuation of magnetic soft robots using deep reinforcement learning
Wuhan National High Magnetic Field Center, Huazhong University of Science and Technology(华中科技大学武汉国家强磁场中心);State Key Laboratory of Advanced Electromagnetic Engineering and Technology, Huazhong University of Science and Technology(华中科技大学强电磁工程与新技术国家重点实验室)
磁性软体机器人由于其独特的无约束驱动和良好的可控性等优点而受到越来越多的关注。然而,在许多情况下,找到所需的磁化模式或磁场来实现这些机器人的期望功能是相当具有挑战性的。目前还没有一个统一的设计框架,现有的方法主要依赖于人工智能,这是很难满足所需的机器人运动的高复杂性水平。在这里,我们开发了一种智能的方法来解决相关的反设计问题,通过引入一种新的仿真平台的基础上Cosserat棒模型和基于TD 3的深度强化学习框架的磁性软体机器人人实现。我们证明了具有不同磁化模式的磁性软体机器人可以在模拟中学习在没有人类指导的情况下移动,并且可以自主产生有效的磁场,然后可以直接应用于开环方式的真实磁性软体机器人。
2022-04-25 cs.RO
Online Robot Introspection via Wrench-based Action Grammars
Guangdong University of Technology(广东工业大学)
机器人故障在非结构化机器人任务中非常常见。尽管有设计良好的控制器,机器人经常会因意外事件而失败。机器人如何测量意外事件?许多人不这样做。大多数机器人都是由感觉-计划-行动范式驱动的,然而最近机器人正在经历一个感觉-计划-行动-验证范式。在这项工作中,我们提出了一个原则性的方法来引导在线机器人内省接触任务。实际上,我们试图让机器人回答这个问题:我做了什么?我的行为是否符合预期?为此,我们分析嘈杂的扳手数据和假设,后者固有的模式,可以有效地表示由词汇。通过对数据进行分段和编码来生成词汇表。当扳手信息表示一系列子任务时,我们可以认为词汇表形成了给定子任务的句子(具有语法规则的单词集);允许后者被唯一地表示。语法,其中也可以包括意外事件,被分类在离线和在线的情况下,以及模拟和真实的机器人实验。多类支持向量机(SVM)离线使用,而在线的概率SVM是用来给时间的信心,内省的结果。我们的工作的贡献是一个概括的在线语义方案,使机器人能够理解其高层次的状态是否正常或异常的介绍。它被证明是工作在离线和在线的情况下,一个特别具有挑战性的接触任务:捕捉组件。我们在单臂模拟和真实单臂实验以及模拟双臂实验中进行卡扣组装。这种验证机制可以由高级规划者或推理系统使用,以实现智能故障恢复或确定要使用的下一个最优操作技能。
2017-07-19 cs.RO
Multi-Modal Legged Locomotion Framework with Automated Residual Reinforcement Learning
ShanghaiTech University(上海科技大学)
虽然四足机器人通常具有良好的稳定性和负载能力,但双足机器人对不同的任务和环境提供了更高水平的灵活性/适应性。多模态足式机器人可以两全其美。在本文中,我们提出了一个多模态运动框架,该框架由手工制作的过渡运动和基于学习的双足控制器组成-通过一种称为自动残差强化学习的新算法学习。该框架旨在赋予任意四足机器人两足行走的能力。特别是,我们1)设计了一个额外的支撑结构的四足机器人和顺序多模态转换策略; 2)提出了一种新的类强化学习算法的双足控制和评估其性能在仿真和现实世界。实验结果表明,我们提出的算法具有最好的性能在仿真和保持良好的性能在现实世界的机器人。总的来说,我们的多模态机器人可以成功地在四足和四足之间切换,并在两种模式下行走。实验视频和代码可在https://chenaah.github.io/multimodal/上获得。
2022-02-24 cs.RO
Reinforcement Learning Approaches in Social Robotics
Örebro University(厄勒布鲁大学)
本文综述了社会机器人中的强化学习方法。强化学习是一个决策问题的框架,其中智能体通过试错与环境交互,以发现最佳行为。由于交互是强化学习和社交机器人的关键组成部分,因此它可以成为与物理体现的社交机器人进行真实世界交互的非常合适的方法。本文的范围特别集中在包括社交物理机器人和现实世界中的人机交互与用户的研究。我们对社会机器人中的强化学习方法进行了深入的分析。除了调查,我们分类现有的强化学习方法的基础上使用的方法和奖励机制的设计。此外,由于通信能力是社交机器人的一个突出特点,我们讨论和分组的基础上用于奖励制定的通信介质的论文。考虑到设计奖励函数的重要性,我们还根据奖励的性质对论文进行了分类。这种分类包括三个主要主题:交互式强化学习,内在动机的方法,和任务性能驱动的方法。强化学习在社会机器人中的好处和挑战,关于他们是否使用主观和算法措施的论文的评估方法,在现实世界的强化学习的挑战和建议的解决方案的角度进行讨论,还有待探讨的点,包括迄今为止得到较少关注的方法也在本文中给出。因此,本文的目的是成为一个起点,研究人员有兴趣使用和应用强化学习方法在这个特定的研究领域。
2021-02-11 cs.AI cs.RO
Efficient reinforcement learning control for continuum robots based on Inexplicit Prior Knowledge
Shanghai Jiao Tong University(上海交通大学);Ruijin Hospital affiliated to Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Shanghai Ruijin Rehabilitation Hospital(上海瑞金康复医院)
相对于强化学习中普遍研究的刚性机器人,一些复杂机器人如柔性机器人或连续体机器人的物理特性更加复杂。此外,最近的强化学习方法是数据效率低下的,并且不能在没有仿真的情况下直接部署到机器人。针对这类问题,本文提出了一种基于非显式先验知识的高效强化学习方法。我们首先证实了模拟的方法,并直接在现实世界中使用。通过使用我们的方法,我们可以实现主动视觉跟踪和距离保持的肌腱驱动机器人,这将是微创手术的关键。代码可在https://github.com/Skylark0924/TendonTrack上获得。
2020-10-02 cs.AI cs.RO
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所 IIS);Friedrich-Alexander-University Erlangen-Nuremberg (FAU)(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学(FAU))
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人,使用深度强化学习的最新进展。从随机初始状态开始,即,位置,速度和方向,机器人达到任意的目标状态,同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间,还执行连续的动作,即,车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
Learning Visual Tracking and Reaching with Deep Reinforcement Learning on a UR10e Robotic Arm
National Research Council of Canada(加拿大国家研究委员会);Carleton University(卡尔顿大学)
针对工业机器人编程复杂、现有强化学习方法依赖仿真难以落地的问题,本研究在UR10e机械臂上搭建强化学习环境,对比训练深度Q学习与PPO智能体,发现PPO以更少数据学到更优稳定策略,相关代码已开源。
2023-08-28 cs.AI cs.RO