Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles(布鲁塞尔自由大学)
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止,自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中,我们探讨的可能性,指定所需的集体行为,通过示范。我们开发Demo-Cho,一种自动设计方法,将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明,只有在演示的基础上,而不需要提供一个明确的目标函数,Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Crowd-Robot Interaction: Crowd-aware Robot Navigation with Attention-based Deep Reinforcement Learning
Ecole Polytechnique Federal de Lausanne, EPFL(洛桑联邦理工学院(EPFL))
针对拥挤场景中机器人导航的社会合规性与效率问题,提出基于自注意力和深度强化学习的人群-机器人交互模型,联合建模人机与人际交互,可预判人群动态,导航效率优于现有最优方法。
2019-02-19 cs.LG cs.RO
Mobile Robot Planner with Low-cost Cameras Using Deep Reinforcement Learning
VNUHCM-University of Science(越南胡志明市国家大学胡志明市自然科学大学)
本研究开发了一种基于深度强化学习的机器人移动策略。由于传统的机器人导航方法依赖于精确的地图再现,并且需要高端传感器,因此基于学习的方法是积极的趋势,特别是深度强化学习。该问题是建模的马尔可夫决策过程(MDP)的形式与代理是一个移动机器人。它的视图状态由输入传感器(如激光探测器或摄像机)获得,目的是在没有任何碰撞的情况下导航到目标。已经有许多深度学习方法来解决这个问题。然而,为了将机器人推向市场,低成本大规模生产也是需要解决的问题。因此,这项工作试图构建一个伪激光发现系统的基础上直接从一个单一的相机图像的深度矩阵预测,同时仍然保持稳定的性能。实验结果表明,它们与使用高价传感器的其他传感器直接可比。
2020-12-21 cs.LG cs.RO
Residual Policy Learning
MIT(麻省理工学院)
我们提出了残差策略学习(RPL):一种使用无模型深度强化学习改进不可微策略的简单方法。RPL在复杂的机器人操作任务中蓬勃发展,其中良好但不完美的控制器可用。在这些任务中,从头开始的强化学习仍然是数据效率低下或难以处理的,但在初始控制器之上学习残差可以产生实质性的改进。我们研究RPL在六个具有挑战性的MuJoCo任务,涉及部分可观测性,传感器噪声,模型误设定,控制器误校准。对于初始控制器,我们考虑手工设计的政策和模型预测控制器与已知或学习的过渡模型。通过将学习与控制算法相结合,RPL可以执行长期的、稀疏奖励的任务,而强化学习单独无法完成这些任务。此外,我们发现,RPL一致,并大大提高了初始控制器。我们认为,RPL是一种很有前途的方法,可以结合深度强化学习和机器人控制的互补优势,推动两者独立实现的界限。视频和代码在https://k-r-allen.github.io/residual-policy-learning/。
2019-01-03 cs.LG cs.RO
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
安全性是每个机器人平台的关键属性:任何控制策略都应始终遵守执行器限制,并避免与环境和人类碰撞。在强化学习中,安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案,但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台,并通过探索约束流形的切线空间,即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能,同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署,在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
强化学习(RL)算法有望实现机器人系统的自主技能获取。然而,在实践中,现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外,使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中,我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时,我们的系统会调整以前学习的技能,以快速学习执行新任务并将环境返回到初始状态,从而有效地执行自己的环境重置。我们的实证结果表明,将先验数据纳入机器人强化学习,使自主学习,大大提高了学习的样本效率,并使更好的推广。项目网址:https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Inverse Reinforcement Learning with Multi-Relational Chains for Robot-Centered Smart Home
在以机器人为中心的灵巧家庭中,机器人通过自身的传感器观察家庭状态,然后它可以根据操作者的命令改变某些对象状态进行远程操作,或者模仿操作者在房屋中的行为进行自主操作。为了模拟机器人在动态室内环境中模仿操作者的行为,我们使用多关系链来描述环境状态的变化,并应用逆强化学习来编码操作者的行为,并学习奖励函数。我们实现了这种方法与移动机器人,并做了五个实验,包括增加训练天,对象数量和动作类型。此外,还实现了一种直接记录操作者行为的基线方法,并对原位状态评估的准确性和机器人动作选择的准确性进行了比较。实验结果表明,该方法能较好地处理动态环境,更准确地指导机器人在室内的动作。
2015-04-18 cs.LG cs.RO
Unity RL Playground: A Versatile Reinforcement Learning Framework for Mobile Robots
School of Future Technology, Shanghai University(上海大学未来技术学院)
本文提出Unity RL Playground开源框架,基于Unity ML-Agents实现移动机器人多种运动任务的一键仿真训练、通用兼容与极限性能测试,并支持向真实硬件迁移。
2025-03-07 cs.LG cs.RO
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University(普渡大学)
针对紧急场景下社会感知导航的计算与适应难题,提出MIRACLE模型,利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Robot in a China Shop: Using Reinforcement Learning for Location-Specific Navigation Behaviour
机器人需要能够在多种不同的环境中工作。即使在执行类似的任务时,也应该部署不同的行为以最好地适应当前环境。在本文中,我们提出了一种新的方法来导航,它被视为一个多任务学习问题。这使机器人能够学习在不同环境下的视觉导航任务中表现不同,同时还可以学习跨环境的共享专业知识。我们在模拟环境和真实数据中评估了我们的方法。我们的方法使我们的系统收敛,训练时间减少了26%,同时也提高了准确性。
2021-06-02 cs.LG cs.RO
Enhancing Robotic Navigation: An Evaluation of Single and Multi-Objective Reinforcement Learning Strategies
University of San Francisco(旧金山大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本研究对比单目标与多目标强化学习的机器人导航效果,指出传统DQN、DDPG、TD3等方法在多冲突目标复杂场景的局限,提出基于奖励向量的MORL方法以实现帕累托最优,验证了其在复杂动态导航任务中的潜力。
2023-12-14 cs.LG cs.RO
Multi-Robot Formation Control Using Reinforcement Learning
在本文中,我们提出了一个机器学习的方法来移动一组机器人的形成。我们将问题建模为多智能体强化学习问题。我们的目标是设计一个控制策略,以保持一个理想的形成之间的一些代理(机器人),同时朝着一个理想的目标。这是通过培训我们的代理人来跟踪该集团的两名代理人并保持与这些代理人的关系来实现的。我们认为所有的代理都是同质的,并将它们建模为单一的[1]。与领导者-跟随者方法不同,在领导者-跟随者方法中,每个代理都有一个独立的目标,我们的方法旨在训练代理合作并朝着共同的目标努力。我们使用这种方法的动机是使一个完全分散的多智能体形成系统和可扩展的代理数量。
2020-01-13 cs.LG cs.RO
Federated Reinforcement Learning for Collective Navigation of Robotic Swarms
The University of Manchester(曼彻斯特大学);Czech Technical University in Prague(布拉格捷克理工大学);Durham University(杜伦大学)
深度强化学习(DRL)的最新进展通过允许自动控制器设计而为机器人技术做出了贡献。群机器人系统需要比单个机器人系统更复杂的控制器来引导期望的集体行为,自动控制器的设计是群机器人系统设计的关键方法。虽然基于DRL的控制器设计方法显示了其有效性,但在机器人-服务器通信不稳定或有限的现实环境中,对中央训练服务器的依赖是一个关键问题。我们提出了一种新的联邦学习(FL)为基础的DRL训练策略(FLDDPG)用于群体机器人应用。通过在有限通信带宽的情况下与基线策略的比较,结果表明,FLDDPG方法导致更高的鲁棒性和推广能力到不同的环境和真实的机器人,而基线策略受到通信带宽的限制。这一结果表明,所提出的方法可以使在通信带宽有限的环境中操作的群机器人系统受益,例如,在高辐射、水下或地下环境中。
2022-09-11 cs.LG cs.RO
Advancing Household Robotics: Deep Interactive Reinforcement Learning for Efficient Training and Enhanced Performance
Old Dominion University(欧道明大学)
本研究提出一种基于持久规则系统的深度交互式强化学习方法,通过保存和重用指导信息,加速家庭机器人训练并减少重复,提升其学习效率与性能。
2024-05-29 cs.LG cs.RO
Ask1: Development and Reinforcement Learning-Based Control of a Custom Quadruped Robot
School of Biomedical Engineering, Dalian University of Technology(大连理工大学生物医学工程学院);School of Control Science and Engineering, Dalian University of Technology(大连理工大学控制科学与工程学院)
本文开发了定制四足机器人Ask1,并采用无AMP和参考轨迹的新型奖励函数强化学习方法,在Go1和Ask1上训练验证,使其能穿越崎岖地形。
2025-09-08 cs.LG cs.RO
Exploration of Reinforcement Learning for Event Camera using Car-like Robots
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低,与使用标准摄像机的现有基于视觉的学习应用相比,可以实现更快的机器人控制。为了处理强化学习的事件流,我们引入了一个类似图像的功能,并证明了在模拟器中训练代理的两个任务的可行性:快速避碰和障碍物跟踪。最后,我们在现实世界中设置了一个带有事件摄像机的机器人,然后转移了在模拟器中训练的代理,从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中,通过端到端学习方法,为需要快速控制的各种机器人应用(如自动驾驶汽车和无人机)开辟了新的可能性。
2020-04-02 cs.AI cs.LG cs.RO
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University(东北大学)
强化学习(Reinforcement learning,RL)是空间机器人领域中一个很有前途的研究领域,它可以提高机器人的自主性和决策能力,但由于环境的随机性和不确定性,传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索,很少有人类反馈,更快,更安全的月球表面运动或多机器人系统的协调和协作。然而,使用RL和机器学习的空间机器人应用研究面临许多障碍,特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台,称为强化学习,用于基于仿真的机器人训练,或RL STaR,有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台,以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
Creativity in Robot Manipulation with Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
深度强化学习(DRL)已成为机器人科学中一种强大的控制技术。与控制理论相比,DRL在对环境的深入探索中具有更强的鲁棒性。DRL的这种能力在应用于机器人时会产生更多类似人类的行为和智能。为了探索这种能力,我们设计了具有挑战性的操作任务,以观察机器人处理复杂场景的策略。我们观察到,机器人不仅能成功地执行任务,而且还能产生创造性和非直觉的解决方案。我们还观察到机器人在接近成功的任务中的持久性,以及它在辨别继续或放弃方面的惊人能力。
2019-10-16 cs.LG cs.RO stat.ML
Deep Residual Reinforcement Learning
University of Oxford(牛津大学)
我们在无模型和基于模型的强化学习设置中重新审视残差算法。我们提出了双向目标网络技术来稳定残差算法,产生DDPG的残差版本,在DeepMind Control Suite基准测试中显著优于vanilla DDPG。此外,我们发现残差算法是一种有效的方法,分布失配问题的基于模型的规划。与现有的TD($k$)方法相比,我们的残差为基础的方法,使更弱的假设模型,并产生更大的性能提升。
2020-01-23 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而,强化学习的机器人应用通常会损害学习过程的自主性,以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制,但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务,因为它们明显具有较高的样本复杂度。在本文中,我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务,并且可以有效地学习深度神经网络策略,以便在真实的物理机器人上进行训练。我们证明,训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明,我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Reinforcement Learning Experiments and Benchmark for Solving Robotic Reaching Tasks
University College Dublin(都柏林大学学院);Resero Ltd(Resero有限公司);Universidad de León(莱昂大学)
强化学习在机器人领域显示出了巨大的潜力,这要归功于它通过自我训练开发高效机器人控制程序的能力。特别是,强化学习已经成功地应用于解决机器人手臂的到达任务。在本文中,我们定义了一个强大的,可重复的和系统的实验过程来比较各种无模型算法在解决这个任务的性能。这些策略在仿真中进行训练,然后转移到物理机器人操纵器上。结果表明,增加奖励信号与后见之明的经验重放探索技术增加了平均回报的关政策代理之间的7和9倍时,目标位置是随机初始化在每个情节的开始。
2020-11-11 cs.AI cs.LG cs.RO
Accelerating Residual Reinforcement Learning with Uncertainty Estimation
本文提出改进残差强化学习方法,通过不确定性估计提升样本效率,并使其适用于随机基策略。在Robosuite和D4RL任务中,该方法在多种模拟环境和现实部署中均表现优异。
2026-03-13 cs.AI cs.LG cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University(斯坦福大学)
多任务学习理想地允许机器人获得各种有用的技能。然而,许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上,机器人学习的任务是顺序到达的,这取决于用户和机器人当前的环境。在这项工作中,我们研究了一个实际的顺序多任务RL问题,该问题的动机是物理机器人系统的实际约束,并推导出一种方法,有效地利用以前的任务学习的数据和政策,以累积增长机器人的技能。在一系列的模拟机器人操作实验中,我们的方法需要不到一半的样本比从头开始学习每个任务,同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上,我们的方法逐步学习十项具有挑战性的任务,包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
rSoccer: A Framework for Studying Reinforcement Learning in Small and Very Small Size Robot Soccer
Universidade Federal de Pernambuco(伯南布哥联邦大学)
强化学习是一个活跃的研究领域,在机器人技术中有大量的应用,RoboCup比赛是研究和评估强化学习方法的有趣环境。将强化学习应用于机器人技术的一个已知困难是需要大量的经验样本,使用模拟环境来训练代理,然后迁移学习到现实世界(模拟到现实)是一条可行的路径。本文介绍了一个开源的模拟器,用于IEEE非常小尺寸足球和小尺寸联赛优化强化学习实验。我们还提出了一个框架,用于创建OpenAI Gym环境,其中包含一组用于评估单智能体和多智能体机器人足球技能的基准任务。然后,我们展示了两个国家的最先进的强化学习方法的学习能力,以及在此框架中引入的某些情况下,他们的局限性。我们相信这将使更多的团队更容易使用端到端的强化学习方法在这些类别中竞争,并进一步发展这一研究领域。
2021-06-15 cs.AI cs.LG cs.RO
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.(Preferred Networks 公司)
为了让机器人执行关键任务,它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而,现有方法通常仅采用单个策略。这可能会限制适应性,因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题,我们提出了基于地图的多策略强化学习(MMPRL),其目的是搜索和存储编码不同行为特征的多个策略,同时在环境变化之前最大化期望奖励。由于这些政策,这是存储到一个多维的离散地图,根据其行为特征,适应可以在合理的时间内进行,而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明,MMPRL使机器人能够快速适应大的变化,而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到:https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics(Acutronic机器人技术公司)
我们提出了一个新的框架,深度强化学习(DRL)模块化机器人训练机器人直接从关节状态,使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化,信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策,在四个不同的模块化关节机械臂(MARA)环境。我们使用与机器人中使用的典型工具(如Gazebo和Robot操作系统2(ROS 2))通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz(开姆尼茨工业大学)
深度强化学习使算法能够学习复杂的行为,处理连续的动作空间,并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域,并且有许多并发的发明,我们决定专注于一个相对简单的机器人任务,以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合,它是否能够比基线更有效地学习。我们还比较了不同的想法,以预处理信息之前,它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性,通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco(伯南布哥大学);Istituto Italiano di Tecnologia(意大利理工学院)
在机器人场景中处理社交任务是困难的,因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况,特别是涉及强化学习的模型。在这项工作中,我们讨论了这个问题和可能的解决方案,通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London(帝国理工学院)
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率,我们实现了一个机器人平台,该平台能够与人类合作伙伴一起学习非平凡的协作任务,而无需在模拟中进行预训练,并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果,表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Robotic Search & Rescue via Online Multi-task Reinforcement Learning
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
强化学习(RL)是机器人可以用来学习最优控制策略以解决特定任务的通用且公知的方法。我们希望构建一个可以学习多个任务的多功能机器人,但是在机器人的时间和磨损方面,使用RL来完成每个任务都是非常昂贵的。为了解决这个问题,我们使用策略梯度有效终身学习算法(PG-ELLA),这是一种在线多任务RL算法,使机器人能够通过在这些任务之间共享知识来有效地学习多个连续任务,以加速学习并提高性能。我们实施和评估三种RL方法-Q-学习,策略梯度RL和PG-ELLA-在地面机器人上,其任务是在不同的表面条件下的环境中找到目标对象。在本文中,我们讨论了我们的实现,以及提出了一个实证分析,他们的学习性能。
2015-11-29 cs.AI cs.LG cs.RO
Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?
NTT Corporation(日本电报电话公司);NTT West Corporation(日本电报电话公司西日本公司)
我们研究的目的是开发一种方法,通过这种方法,社交机器人可以问候路人并引起他们的注意,而不会让他们感到不适。最近,一些客户服务已经由社交机器人而不是人提供,包括担任接待员,导游和参展商。例如,机器人参展商可以解释机器人所有者正在推广的产品。然而,机器人突然打招呼可能会吓到路人,并给路人带来不适。因此,社交机器人应该使自己的举止适应他们面对的路人情况。我们根据相关工作的结果开发了一种满足这一要求的方法。我们提出的方法,以用户为中心的强化学习,使机器人迎接路人,并得到他们的注意,而不会使他们遭受不适(p<0.01)。在现场的实验结果,办公室入口,证明我们的方法满足这一要求。
2020-01-02 cs.AI cs.LG cs.RO
Fast Adaptation with Meta-Reinforcement Learning for Trust Modelling in Human-Robot Interaction
Uppsala University(乌普萨拉大学);KTH Royal Institute of Technology(KTH皇家理工学院)
在社会辅助机器人中,一个重要的研究领域是适应技术的发展及其对人机交互的影响。我们提出了一个基于元学习的策略梯度方法,用于解决人与机器人交互中的适应问题,并研究其作为信任建模机制的作用。通过在混合现实中与机器人建立一个逃生室场景,我们测试了我们的假设,即双向信任可以受到不同的适应算法的影响。我们发现,我们提出的模型增加了机器人的感知可信度,并影响了获得人类信任的动态。此外,参与者评价说,机器人认为他们更值得信赖的互动过程中与元学习为基础的适应相比,以前研究的统计适应模型。
2019-08-12 cs.HC cs.LG cs.RO
Setting up a Reinforcement Learning Task with a Real-World Robot
Kindred Inc.(Kindred公司)
强化学习是一种很有前途的方法,可以为复杂多样的机器人任务开发难以工程化的自适应解决方案。然而,与现实世界的机器人学习往往是不可靠的和困难的,这导致他们在强化学习研究中的低采用率。由于缺乏使用机器人设置学习任务的指导方针,这种困难变得更加严重。在这项工作中,我们使用UR5机器人手臂开发了一个学习任务,以揭示任务设置的一些关键要素,并研究它们对机器人挑战的贡献。我们发现,学习性能可能对设置高度敏感,因此设置细节中的疏忽和遗漏可能会使有效的学习,可重复性和公平比较变得困难。我们的研究提出了一些缓解措施,以帮助未来的实验者避免困难和陷阱。我们表明,高度可靠和可重复的实验可以在我们的设置,表明强化学习研究广泛基于现实世界的机器人的可能性。
2018-03-19 cs.AI cs.LG cs.RO
Deep Reinforcement Learning to Acquire Navigation Skills for Wheel-Legged Robots in Complex Environments
移动机器人在复杂动态环境中的导航是一个具有挑战性的重要问题。强化学习方法无法有效地解决这些问题,由于奖励稀疏,时间复杂性和高维的感觉运动空间,这是固有的问题。我们提出了一种新的方法来训练行动政策,以获得导航技能的轮足式机器人使用深度强化学习。该策略将高度图图像观察映射到运动命令,以在避开障碍物的同时导航到目标位置。我们建议通过学习和利用一些可管理的导航行为来获得多方面的导航技能。我们还引入了一个域随机化技术,以提高训练样本的通用性。我们的实验表明,数据效率,成功率,对不相关的感官数据的鲁棒性,以及机动技能的质量方面的显着改善。
2018-04-27 cs.LG cs.RO stat.ML
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln(林肯大学);University of Toulouse III(图卢兹第三大学)
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题,特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法,作为朝着这个方向迈出的一步,我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏,我们将注意力集中在训练机器人感知游戏,并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征,并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明,机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音,视觉和手势-报告,合理和流畅的互动,可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
Learning Socially Appropriate Robot Approaching Behavior Toward Groups using Deep Reinforcement Learning
Uppsala University(乌普萨拉大学);University of York(约克大学);KTH Royal Institute of Technology(KTH皇家理工学院)
深度强化学习最近被广泛应用于机器人技术中,以研究运动和抓取等任务,但其在社会人机交互(HRI)中的应用仍然是一个挑战。在本文中,我们提出了一个深度学习方案,获得了一个先验模型的机器人接近行为的模拟,并将其应用到现实世界的互动与物理机器人接近人群。该计划,我们称之为阶段性社会行为学习(SSBL),考虑了社会场景中的不同学习阶段。我们在模拟中学习机器人接近小团体的行为,并在感知研究和人类参与者的HRI用户研究中使用客观和主观措施来评估模型的性能。结果表明,我们的模型产生更多的社会适当的行为相比,一个国家的最先进的模型。
2019-08-12 cs.HC cs.LG cs.RO
On Training Flexible Robots using Deep Reinforcement Learning
Intel AI Labs(英特尔人工智能实验室);Indiana University(印第安纳大学)
在过去的几十年里,机器人技术在受控环境中的应用蓬勃发展,并且使用从其硬件的动态模型开发的控制策略来训练机器人执行任务已被证明非常有效。然而,在许多现实环境中,环境的不确定性,安全要求和机器人所期望的一般能力使得刚性工业机器人不适合。这创造了巨大的研究兴趣,开发控制策略的柔性机器人硬件,建立动态模型是具有挑战性的。本文受深度强化学习(DRL)在其他领域取得成功的启发,系统研究了使用DRL的策略搜索方法在训练柔性机器人中的有效性。我们的研究结果表明,DRL是成功地能够学习有效和强大的政策,复杂的任务,在不同程度的灵活性。我们还注意到,使用深度确定性策略梯度的DRL可能对传感器的选择敏感,并且添加更多信息传感器并不一定使任务更容易学习。
2019-07-13 cs.AI cs.LG cs.RO
Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本研究提出利用无迹卡尔曼滤波器更新神经网络参数,以少量数据学习机器人动力学或仿真模型与真实机器人间的残差误差,并在机械臂和轮式机器人上验证,有效缩小了现实差距。
2023-05-08 cs.LG cs.RO cs.SY
Towards Vision-Based Deep Reinforcement Learning for Robotic Motion Control
ARC Centre of Excellence for Robotic Vision (ACRV)(ARC机器人视觉卓越中心(ACRV));Queensland University of Technology (QUT)(昆士兰科技大学(QUT))
介绍了一种基于机器学习的机器人视觉控制系统。第一次展示了仅从原始像素图像并且没有任何配置的先验知识的自主学习机器人控制器的能力。我们建立在最近的深度强化学习的成功,并开发了一个系统,学习目标达到与三关节机器人机械手使用外部视觉观察。在仿真中,演示了深度Q网络(DQN)在训练后执行目标到达。将网络转移到真实的硬件和真实的观察中失败了,但实验表明,当用合成图像替换相机图像时,网络可以工作。
2015-11-13 cs.CV cs.LG cs.RO
FRAC-Q-Learning: A Reinforcement Learning with Boredom Avoidance Processes for Social Robots
National Institute of Technology, Kagawa College(国立高等专门学校机构 香川高等专门学校)
针对传统强化学习易使社交机器人用户感到无聊的问题,提出含遗忘、随机化和分类过程的FRAC-Q-Learning方法,实验表明其兴趣度得分更高且更难让用户无聊,可助力开发更优社交机器人。
2024-11-29 cs.HC cs.LG cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin(都柏林大学学院);Resero Ltd(雷塞罗有限公司);Universidad de León(莱昂大学)
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化,允许用户快速比较不同的训练参数集。我们提出了rl_reach,一个独立的,开源的和易于使用的软件包,旨在运行可重复的强化学习实验,可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起,允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得:https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI(开放人工智能研究中心)
本技术报告的目的是双重的。首先,它介绍了一套具有挑战性的连续控制任务(与OpenAI Gym集成),基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动,滑动和拾取放置,以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励,并遵循多目标强化学习(RL)框架,其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路,其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
Residuals-based Offline Reinforcement Learning
Department of Integrated Systems Engineering, The Ohio State University(俄亥俄州立大学集成系统工程系)
本文提出基于残差的离线强化学习框架,通过引入残差贝尔曼最优算子,将估计误差纳入策略优化,解决了传统方法在数据覆盖和分布偏移上的限制。
2026-04-01 cs.LG math.OC
Mobility-Aware Computation Offloading for Swarm Robotics using Deep Reinforcement Learning
Xidian University(西安电子科技大学);Norfolk State University(诺福克州立大学)
针对群体机器人资源有限、规模受限的问题,提出基于边缘服务器侧移动感知深度强化学习的计算卸载方案,可在满足延迟要求的同时以最少机器人能耗保障计算精度。
2023-08-22 cs.LG cs.RO cs.SY
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Robot Navigation with Entity-Based Collision Avoidance using Deep Reinforcement Learning
Lomonosov Moscow State University, Moscow, Russia(罗蒙诺索夫莫斯科国立大学,莫斯科,俄罗斯)
针对动态环境中机器人与多类实体交互的安全导航问题,提出利用实体类型信息的深度强化学习避障方法及新型奖励函数,并通过优化算法加速训练,实验表明其性能优于现有方法。
2025-09-28 cs.AI cs.LG cs.RO
What Makes Value Learning Efficient in Residual Reinforcement Learning?
Nanyang Technical University(南洋理工大学);Mila - Quebec AI Institute(魁北克AI研究所);National University of Singapore(新加坡国立大学)
DAWN通过数据锚定预热和归一化解决残差强化学习中价值学习的冷启动和尺度不匹配问题,提升效率。
2026-02-11 cs.LG
Residual Reinforcement Learning from Demonstrations
Google Research(谷歌研究院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
残余强化学习(RL)已经被提出作为一种通过自适应来自传统反馈控制器的控制动作以最大化奖励信号来解决具有挑战性的机器人任务的方式。我们扩展的残差制定学习视觉输入和稀疏奖励使用演示。从图像、本体感受输入和稀疏的任务完成奖励中学习,放松了对访问完整状态特征(如物体和目标位置)的要求。此外,用从演示中学习的策略替换基本控制器消除了对手工设计的控制器的依赖性,有利于演示的数据集,其可以由非专家提供。我们对6自由度UR5手臂和28自由度灵巧手的模拟操作任务的实验评估表明,来自演示的剩余RL能够比行为克隆或RL微调更灵活地推广到看不见的环境条件,并且能够从头开始解决RL无法实现的高维稀疏奖励任务。
2021-06-15 cs.LG
Designing a Multi-Objective Reward Function for Creating Teams of Robotic Bodyguards Using Deep Reinforcement Learning
University of Central Florida(中佛罗里达大学)
我们正在考虑一个场景,一组保镖机器人在拥挤的公共空间为VIP提供物理保护。我们使用深度强化学习来学习机器人要遵循的策略。由于机器人保镖需要遵循几个难以协调的目标,我们研究了几个原始和复合奖励函数及其对机器人保镖的整体行为的影响。
2019-01-28 cs.LG cs.MA
Deep Reinforcement Learning with Enhanced PPO for Safe Mobile Robot Navigation
KN Toosi University of Technology(霍加·纳绥尔丁·图西大学)
本文研究在Gazebo仿真环境中利用深度强化学习实现移动机器人自主避障导航,通过改进PPO算法的神经网络结构和奖励函数提升性能,实验验证了其有效性。
2024-08-06 cs.LG cs.RO cs.SY
Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers
Carnegie Mellon University(卡内基梅隆大学);Computational Design Laboratory(计算设计实验室);Robotics Institute(机器人研究所)
针对建筑机器人忽视人因复杂性的问题,本文提出以人为本的“工作伙伴漫游车”,通过情境化RL模块化框架在木工模板场景中实现安全、流畅的人机协作。
2024-09-14 cs.AI cs.HC cs.LG
A Novel Sample-efficient Deep Reinforcement Learning with Episodic Policy Transfer for PID-Based Control in Cardiac Catheterization Robots
目前,机器人导管插入术通常用于经皮冠状动脉介入手术,它涉及操纵柔性血管内工具以打开冠状动脉中的闭塞。在这项研究中,一个样本有效的深度强化学习与情节的政策转移,第一次,用于在机器人导管插入运动控制与完全自适应PID整定策略。强化模型有助于智能体从其环境中的相互作用中不断学习,并自适应地调整PID控制增益以用于血管内工具的轴向导航。该模型被验证为轴向运动控制的机器人系统设计的血管内导管插入术。仿真和实验验证了该模型的有效性,结果表明,该模型能够自整定PID增益,适用于机器人导管系统的运动控制。平均10次试验与传统方法的性能比较表明,代理调谐增益更好,误差为0.003 mm。因此,该模型将提供更稳定的设定点运动控制机器人导管插入术。
2021-10-28 cs.LG cs.RO cs.SY
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
使强化学习(RL)代理能够利用知识库,同时从经验中学习,有望在知识密集型领域推进RL。然而,事实证明,很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法,能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率,并推广到常识游戏中看不见的对象,但我们也研究了故障模式,如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Distributed Reinforcement Learning for Robot Teams: A Review
National University of Singapore(新加坡国立大学)
审核目的:传感、驱动和计算方面的最新进展为由数百/数千个机器人组成的多机器人系统打开了大门,该系统在自动化制造、救灾、收获、最后一英里交付、港口/机场操作或搜索和救援方面具有广阔的应用前景。该社区利用无模型多智能体强化学习(MARL)为多机器人系统(MRS)设计高效、可扩展的控制器。这篇综述的目的是提供一个国家的最先进的分布式MARL多机器人合作的分析。最近的研究结果:分散MRS面临的基本挑战,如非平稳性和部分可观测性。建立在“集中培训,分散执行”的范式,最近的MARL方法包括独立学习,集中批评,价值分解和沟通学习的方法。合作行为通过人工智能基准和基本的现实世界机器人功能(如多机器人运动/路径规划)进行演示。摘要:本调查报告了围绕用于多机器人协作的去中心化无模型MARL和现有方法类别的挑战。我们提出了基准和机器人应用程序,并讨论了当前的研究开放途径。
2022-04-07 cs.AI cs.LG cs.MA