Leveraging Topological Maps in Deep Reinforcement Learning for Multi-Object Navigation
Ruhr University Bochum(波鸿鲁尔大学)
本研究利用拓扑图将基本动作提升为面向对象的宏动作,使简单DQN智能体在稀疏奖励的广阔空间中成功实现多目标导航。
2023-10-16 cs.LG
Hierarchical Reinforcement Learning for Safe Mapless Navigation with Congestion Estimation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Northeastern University(东北大学)
针对无地图导航易陷入局部极小区域的问题,提出融合拥塞估计子目标机制、安全强化学习低层规划与障碍物编码的HRL框架,并通过仿真和TurtleBot3实验验证其性能与泛化能力。
2025-03-15 cs.LG cs.RO
Deep Reinforcement Learning to Acquire Navigation Skills for Wheel-Legged Robots in Complex Environments
移动机器人在复杂动态环境中的导航是一个具有挑战性的重要问题。强化学习方法无法有效地解决这些问题,由于奖励稀疏,时间复杂性和高维的感觉运动空间,这是固有的问题。我们提出了一种新的方法来训练行动政策,以获得导航技能的轮足式机器人使用深度强化学习。该策略将高度图图像观察映射到运动命令,以在避开障碍物的同时导航到目标位置。我们建议通过学习和利用一些可管理的导航行为来获得多方面的导航技能。我们还引入了一个域随机化技术,以提高训练样本的通用性。我们的实验表明,数据效率,成功率,对不相关的感官数据的鲁棒性,以及机动技能的质量方面的显着改善。
2018-04-27 cs.LG cs.RO stat.ML
Lifelong Federated Reinforcement Learning: A Learning Architecture for Navigation in Cloud Robotic Systems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Hong Kong University of Science and Technology(香港科技大学)
针对机器人如何融合迁移经验以快速适应新环境的问题,提出用于云机器人系统导航的终身联邦强化学习(LFRL)架构,包含知识融合算法与迁移学习方法,实验证明其显著提升了导航学习效率并有效融合先验知识。
2019-05-13 cs.AI cs.DC cs.LG
Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning
Politecnico di Milano(米兰理工大学);MOX(数学优化与工程计算实验室)
研究在非定常流中自主机器人导航问题,用TD3算法训练智能体在双涡旋流中到达目标。评估五种生物启发观测策略及全局流参数影响,发现速度感知与涡度传感器效用有权衡,明确参数会降性能,为机器人导航从模拟到现实提供见解。
2026-07-16 cs.LG cs.RO cs.SY
Deep Reinforcement Learning with Successor Features for Navigation across Similar Environments
University of Freiburg(弗莱堡大学)
在本文中,我们考虑的问题,机器人导航在简单的迷宫般的环境中,机器人必须依靠其板载传感器来执行导航任务。特别是,我们感兴趣的解决方案,这个问题,不需要本地化,映射或规划。此外,我们要求我们的解决方案能够快速适应新的情况(例如,改变导航目标和环境)。为了满足这些标准,我们将这个问题定义为一系列相关的强化学习任务。我们提出了一种基于后继特征的深度强化学习算法,该算法可以学习将知识从先前掌握的导航任务转移到新的问题实例。我们的算法大大减少了第一个任务实例解决后所需的学习时间,这使得它很容易适应不断变化的环境。我们验证我们的方法在模拟和真实的机器人实验与Robotino和比较它的一组基线方法,包括经典的基于规划的导航。
2017-07-23 cs.AI cs.LG cs.RO
Towards Socially Compliant Navigation in Deep Reinforcement Learning via Proxemics-Based Reward Modeling
该研究针对DRL社会导航中社会合规目标不足的问题,提出基于近体学的奖励建模方法,经模拟验证可提升社会指标且保持导航性能。
2026-08-14 cs.LG cs.RO
Socially Integrated Navigation: A Social Acting Robot with Deep Reinforcement Learning
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出一种社交集成导航方法,使机器人社交行为通过深度强化学习从人机交互中自适应涌现,仿真表明其导航性能优于社交感知方法且减少对环境智能体的负面影响。
2024-07-26 cs.AI cs.LG cs.RO
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco(伯南布哥大学);Istituto Italiano di Tecnologia(意大利理工学院)
在机器人场景中处理社交任务是困难的,因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况,特别是涉及强化学习的模型。在这项工作中,我们讨论了这个问题和可能的解决方案,通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
Deep Reinforcement Learning-based UAV Navigation and Control: A Soft Actor-Critic with Hindsight Experience Replay Approach
Research Institute of Electrical and Computer Engineering, Hanyang University(汉阳大学电气与计算机工程研究所);Hanyang University(汉阳大学)
在本文中,我们提出了SACHER(具有后见之明经验重放(HER)的软演员-评论家(SAC)),它构成了一类深度强化学习(DRL)算法。SAC是一种基于最大熵框架的非策略无模型DRL算法,在探索性、鲁棒性和学习性能方面优于早期的DRL算法。然而,在SAC中,最大化熵增强目标可能会降低学习结果的最优性。HER被称为样本高效重放方法,其通过允许代理从失败和成功中学习来增强非策略DRL算法的性能。我们将HER应用于SAC,并提出SACHER来提高SAC的学习性能。更确切地说,SACHER比SAC更快、更准确地实现了所需的最佳结果,因为HER提高了SAC的采样效率。我们应用SACHER无人机(UAV)的导航和控制问题,其中SACHER生成的无人机在各种障碍物的操作下的最优导航路径。具体来说,我们显示SACHER的跟踪误差和累积奖励在无人机操作方面的有效性,通过比较它们与那些国家的最先进的DRL算法,SAC和DDPG。注意,无人机导航和控制问题中的SACHER可以应用于无人机的任意模型。
2021-06-05 cs.LG cs.RO cs.SY
Robot in a China Shop: Using Reinforcement Learning for Location-Specific Navigation Behaviour
机器人需要能够在多种不同的环境中工作。即使在执行类似的任务时,也应该部署不同的行为以最好地适应当前环境。在本文中,我们提出了一种新的方法来导航,它被视为一个多任务学习问题。这使机器人能够学习在不同环境下的视觉导航任务中表现不同,同时还可以学习跨环境的共享专业知识。我们在模拟环境和真实数据中评估了我们的方法。我们的方法使我们的系统收敛,训练时间减少了26%,同时也提高了准确性。
2021-06-02 cs.LG cs.RO
Scientific multi-agent reinforcement learning for wall-models of turbulent flows
Harvard University(哈佛大学);California Institute of Technology(加州理工学院);ETH Zurich(苏黎世联邦理工学院)
湍流模拟的预测能力对空气动力学设计和天气预报至关重要,取决于湍流模型的选择。大量的实验和模拟数据以及机器学习的出现推动了湍流建模工作。然而,湍流的模拟仍然受到阻碍,无法模拟的近壁动态的物理学和监督学习。我们通过引入科学的多智能体强化学习(SciMARL)来解决这一挑战,以发现大涡模拟(LES)的壁模型。在SciMARL中,离散化点也充当协作代理,学习提供LES闭包模型。智能体使用有限的数据进行自我学习,并推广到极端的雷诺数和以前看不见的几何形状。目前的模拟减少了几个数量级的计算成本超过完全解决的模拟,同时再现关键流量。我们相信SciMARL为模拟湍流创造了前所未有的能力。
2022-02-01 cs.LG physics.comp-ph physics.flu-dyn
Efficient Navigation of Colloidal Robots in an Unknown Environment via Deep Reinforcement Learning
Tsinghua University(清华大学);Johns Hopkins University(约翰斯·霍普金斯大学)
为主动胶体机器人配备智能,使它们能够在未知的复杂环境中有效导航,这可能会极大地影响它们在精密手术和靶向药物输送等新兴应用中的使用。在这里,我们开发了一种无模型的深度强化学习,可以训练胶体机器人在具有随机障碍物的未知环境中学习有效的导航策略。我们表明,受过训练的机器人代理学习,使导航决策避障和旅行时间最小化,仅基于本地的感官输入,而无需事先了解全球环境。这种具有生物启发机制的代理可以在包含不同形状,大小和配置的障碍物的大规模,复杂的环境中获得竞争性的导航能力。这项研究说明了人工智能在工程主动胶体系统的未来应用和构建复杂的主动系统与视觉和学习能力的潜力。
2019-07-31 cond-mat.soft cs.LG
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University(普渡大学)
针对紧急场景下社会感知导航的计算与适应难题,提出MIRACLE模型,利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Robot Navigation with Entity-Based Collision Avoidance using Deep Reinforcement Learning
Lomonosov Moscow State University, Moscow, Russia(罗蒙诺索夫莫斯科国立大学,莫斯科,俄罗斯)
针对动态环境中机器人与多类实体交互的安全导航问题,提出利用实体类型信息的深度强化学习避障方法及新型奖励函数,并通过优化算法加速训练,实验表明其性能优于现有方法。
2025-09-28 cs.AI cs.LG cs.RO
SGN-CIRL: Scene Graph-based Navigation with Curriculum, Imitation, and Reinforcement Learning
Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院);Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);Artificial Intelligence Research Institute (AIRI)(人工智能研究院)
本文提出SGN-CIRL框架,将可学习的开放词汇3D场景图与模仿学习和课程学习相结合,用于无地图强化学习机器人导航,实验表明其显著提升了困难导航任务的成功率。
2025-06-04 cs.LG cs.RO
Offline Reinforcement Learning for Visual Navigation
UC Berkeley(加州大学伯克利分校)
强化学习可以使机器人导航到遥远的目标,同时优化用户指定的奖励功能,包括遵循车道,停留在铺砌的路径上或避免新割的草地的偏好。然而,从真实世界机器人的试错中进行在线学习在逻辑上是具有挑战性的,相反,可以利用机器人导航数据的现有数据集的方法可以具有更大的可扩展性,并实现更广泛的泛化。在本文中,我们介绍了ReViND,这是第一个用于机器人导航的离线RL系统,可以利用以前收集的数据来优化现实世界中用户指定的奖励函数。我们评估了我们的越野导航系统,而无需任何额外的数据汇集或微调,并表明它可以仅使用该数据集的离线训练导航到遥远的目标,并表现出基于用户指定的奖励函数而定性不同的行为。
2022-12-16 cs.CV cs.LG cs.RO
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Certificated Actor-Critic: Hierarchical Reinforcement Learning with Control Barrier Functions for Safe Navigation
本文提出可信Actor-Critic算法,结合控制屏障函数设计分层强化学习框架,通过理论分析和实验验证,提升机器人安全导航性能。
2025-01-29 cs.LG cs.RO
Ultrasound-Guided Robotic Navigation with Deep Reinforcement Learning
Technische Universität München(慕尼黑工业大学);Sharif University of Technology(谢里夫理工大学)
在本文中,我们介绍了第一个强化学习(RL)的机器人导航方法,利用超声(US)图像作为输入。我们的方法结合了最先进的RL技术,特别是具有内存缓冲区的深度Q网络(DQN)和用于决定何时终止任务的二进制分类器。我们的方法是在内部收集的34名志愿者的数据集上进行训练和评估的,与纯RL和监督学习(SL)技术相比,它的表现要好得多,这突出了RL导航对US引导程序的适用性。在测试我们提出的模型时,我们在5个不同的看不见的模拟环境中从165个不同的起始位置正确导航到骶骨的概率为82.91%。
2020-04-07 cs.LG cs.RO stat.ML
Autonomous Navigation of Unmanned Vehicle Through Deep Reinforcement Learning
Northeastern University(东北大学);New York University(纽约大学);Peking University(北京大学)
本文探讨利用DDPG算法解决无人驾驶车辆在高维连续动作空间中的自主导航问题,实验证明其在路径规划任务中优于DQN和DDQN算法。
2024-07-18 cs.LG cs.RO
Vision-Based Deep Reinforcement Learning of UAV Autonomous Navigation Using Privileged Information
针对部分可观测环境下无人机高速自主导航难题,提出结合深度强化学习与特权学习的DPRL算法,采用非对称Actor-Critic架构和多智能体探索策略,仿真验证其在飞行效率等方面性能优于现有算法。
2024-12-09 cs.CV cs.LG cs.RO
On the convergence of cycle detection for navigational reinforcement learning
我们考虑了一个强化学习框架,其中代理必须从开始状态导航到目标状态。我们证明了收敛的周期检测学习算法的一类任务,我们称之为可简化的。可归约任务有一个非循环的解决方案。我们还在句法上描述了最终策略的形式。该特征可用于精确检测仿真中的收敛点。我们的研究结果表明,即使是简单的算法可以成功地学习一大类的非平凡的任务。此外,我们的框架是初级的,因为我们只使用基本概念来正式证明收敛性。
2016-01-05 cs.AI cs.LG
Investigating Navigation Strategies in the Morris Water Maze through Deep Reinforcement Learning
本研究通过在2D Morris水迷宫仿真环境中训练深度强化学习智能体,分析导航策略分布并对比生物实验数据,探究辅助任务效用及类位置细胞、头朝向细胞的内部表征与导航策略的关联。
2023-11-08 cs.LG cs.NE q-bio.NC
Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm
我们开发了一个新的框架,多智能体避碰问题。该框架结合了传统的路径查找算法和强化学习。在我们的方法中,智能体通过在每个时间步通过强化学习训练的深度神经网络来学习是被导航还是采取简单的行动来避开他们的伙伴。该框架使代理能够在抽象的新场景中到达终点。在我们的实验中,我们使用Unity3D和Tensorflow为我们的场景构建模型和环境。我们分析结果,并修改参数,以接近我们的代理行为良好的战略。我们的策略可以在不同的环境下,在不同的情况下,特别是当规模较大。
2020-12-05 cs.LG cs.MA cs.RO
Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning
Albert Ludwig University of Freiburg(阿尔伯特-路德维希-弗莱堡大学);The Hong Kong University of Science and Technology(香港科技大学)
本文研究了深度强化学习(DRL)方法学习移动机器人导航策略的探索策略。特别是,我们用好奇心测量的内在奖励信号来增强训练DRL算法的正常外部奖励。我们在无地图导航设置中测试我们的方法,其中要求自主智能体在没有环境的占用地图的情况下导航到其相对位置可以通过低成本解决方案容易地获取的目标(例如,可见光定位、Wi-Fi信号定位)。我们验证了内在动机是至关重要的,以提高DRL性能的任务具有挑战性的探索要求。我们的实验结果表明,我们提出的方法能够更有效地学习导航策略,并在以前看不见的环境中具有更好的泛化能力。我们的实验结果的视频可以在https://goo.gl/pWbpcF上找到。
2018-05-14 cs.AI cs.LG cs.RO
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI(AIRI(人工智能研究所));Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略,证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
QuasiNav: Asymmetric Cost-Aware Navigation Planning with Constrained Quasimetric Reinforcement Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);Amazon Inc.(亚马逊公司);DEVCOM Army Research Lab(DEVCOM陆军研究实验室);Stormfish Scientific Corporation(斯托姆菲什科学公司)
QuasiNav 提出一种基于准度量嵌入的约束强化学习框架,通过将导航建模为 CMDP 并自适应收紧安全约束,有效解决非对称行进成本下的自主导航问题,在仿真与真实环境中均显著提升了成功率、能效和安全性。
2024-10-22 cs.LG cs.RO
Decentralized Global Connectivity Maintenance for Multi-Robot Navigation: A Reinforcement Learning Approach
Sun Yat-sen University(中山大学)
在多机器人应用中,连通性维护的多机器人导航问题是一个具有挑战性的问题。这项工作研究了如何在未知环境中导航多机器人团队,同时保持连接。我们提出了一个强化学习(RL)的方法来开发一个分散的政策,这是多个机器人之间共享。给定距离传感器测量值和其他机器人的位置,该策略旨在生成用于导航的控制命令并保持机器人团队的全局连通性。我们将连接性问题作为约束纳入RL框架,并引入行为克隆来降低策略优化的探索复杂度。该策略是优化与多个机器人在随机模拟场景中收集的所有过渡数据。我们通过比较不同的连接约束和行为克隆的组合,验证了所提出的方法的有效性。我们还表明,我们的政策可以推广到看不见的情况下,在模拟和完整的机器人实验。
2021-09-17 cs.LG cs.RO
MSVIPER: Improved Policy Distillation for Reinforcement-Learning-Based Robot Navigation
University of Maryland(马里兰大学);National Institute for Standards and Technology(美国国家标准与技术研究院)
我们提出了多场景可验证的强化学习通过政策提取(MSVIPER),一种新的方法,政策蒸馏决策树,以改善机器人导航。MSVIPER使用任何涉及学习状态-动作映射的强化学习(RL)技术来学习“专家”策略,然后使用模仿学习来学习决策树policy. We证明,MSVIPER导致高效的决策树,并且可以准确地模仿专家策略的行为。此外,我们提出了有效的政策蒸馏和树修改技术,利用决策树结构,允许改进的政策,而无需再培训。我们使用我们的方法来提高室内和室外场景的RL为基础的机器人导航算法的性能。我们证明了减少冻结和振荡行为(减少高达95%)的移动机器人导航动态障碍物和减少振动和振荡(高达17%)的室外机器人导航复杂,不平坦的地形方面的好处。
2022-09-19 cs.AI cs.HC cs.LG
Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation
University of Verona(维罗纳大学)
我们提出了一个新的基准环境安全强化学习专注于水上导航。由于机器人平台的非静止环境和不确定性,水上导航是一项极具挑战性的任务,因此通过分析训练网络的行为以避免危险情况(例如,碰撞)。为此,我们考虑了基于值和策略梯度的深度强化学习(DRL),并提出了一种基于交叉的策略,该策略结合了基于梯度和无梯度的DRL以提高样本效率。此外,我们提出了一种基于区间分析的验证策略,该策略检查训练模型在一组所需属性上的行为。我们的结果表明,基于交叉的训练优于以前的DRL方法,而我们的验证允许我们量化违反属性所描述的行为的配置数量。至关重要的是,这将成为未来在这一领域的应用研究的基准。
2021-12-16 cs.AI cs.LG cs.RO
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research(伯克利人工智能研究所)
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习,但实际上,现实世界中的强化学习具有挑战性,并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统,用于在没有人为干预的情况下,以自主的方式一起学习导航和操作,从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习,无需任何环境仪器,无需人为干预,也无需访问特权信息,例如地图,对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航,操纵政策的不确定性驱动器的导航控制器的探索,和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务,机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后,ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
Deep Reinforcement Learning Based Navigation with Macro Actions and Topological Maps
Institute for Neural Computation, Faculty of Computer Science, Ruhr University Bochum, Germany(神经计算研究所,计算机科学学院,博德姆鲁尔大学)
本文提出了一种基于拓扑地图和宏观动作的深度强化学习导航方法,通过简化问题复杂度实现高效的样本学习。
2025-04-25 cs.LG
Decentralized Structural-RNN for Robot Crowd Navigation with Deep Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对机器人在部分可观测和密集人群环境中导航性能下降的问题,提出DS-RNN网络,利用无模型深度强化学习进行时空关系推理,并在仿真和真实TurtleBot上验证了其优越性。
2025-01-27 cs.AI cs.LG cs.RO
Reinforcement Learning-Based Control of CrazyFlie 2.X Quadrotor
本研究探索PID等经典控制与强化学习的协同,以强化学习整定PID参数为核心,结合lighthouse定位系统,采用离散深度Q学习和连续深度强化学习两种方案,实现CrazyFlie 2.X四旋翼的实用化导航控制。
2023-06-14 cs.LG cs.RO
Human-Aware Robot Navigation via Reinforcement Learning with Hindsight Experience Replay and Curriculum Learning
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
针对密集人群中无示范数据的机器人导航问题,提出融合HER与CL的强化学习方法,以克服稀疏奖励并学习安全、高效、无碰撞的人类感知导航策略。
2021-10-09 cs.AI cs.LG cs.RO
Flow Navigation by Smart Microswimmers via Reinforcement Learning
University of Rome Tor Vergata(罗马第二大学);University of Gothenburg(哥德堡大学);The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心)
智能活性颗粒可以从简单的机械提示中获得流体环境的一些有限的知识,并对其优选的转向方向施加控制。他们的目标是通过尽可能地利用底层流程来学习最佳导航方式。作为一个例子,我们把注意力集中在聪明的重力游泳者身上。这些是活跃的粒子,其任务是在一定时间范围内到达最高高度,给定流体力学的约束。通过数值实验,我们表明,游泳运动员确实学习近最优策略只是通过经验。强化学习算法允许粒子学习有效的策略,即使在困难的情况下,在没有控制的情况下,它们最终会被流结构捕获。这些策略都是非常重要的,不能轻易地提前猜到。这封信说明了强化学习算法在模拟复杂流动中的自适应行为方面的潜力,并为解决困难导航问题的智能微型游泳者的工程铺平了道路。
2017-07-26 cond-mat.stat-mech cs.LG nlin.CD
Effects of a Social Force Model reward in Robot Navigation based on Deep Reinforcement Learning
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所)
在本文中,提出了一个具体的深度强化学习(RL)框架的机器人导航的社会力模型(SFM)的包含。这些类型的技术已被证明是有用的,以处理不同类型的环境,以实现一个目标。在深度强化学习中,描述世界的状态和适应环境的奖励是获得期望行为和实现高性能的关键因素。出于这个原因,这项工作增加了一个基于SFM的密集奖励函数,并使用状态中的力作为额外的描述。此外,增加了障碍,以改善只考虑移动代理的作品的行为。这种SFM包含可以提供对导航障碍的更好描述。已经进行了几次模拟来检查这些修改对平均性能的影响。
2019-12-08 cs.LG cs.RO
Deep Reinforcement Learning for Navigation in AAA Video Games
Ubisoft La Forge(育碧La Forge)
在视频游戏中,非玩家角色(NPC)用于以各种方式增强玩家的体验,例如,敌人盟友还是无辜的旁观者NPC的一个重要组成部分是导航,它允许他们从地图上的一个点移动到另一个点。在电子游戏行业中,NPC导航最流行的方法是使用导航网格(NavMesh),这是地图的图形表示,其中节点和边表示可穿越的区域。不幸的是,复杂的导航能力,扩大了字符的移动能力,例如,抓钩、喷气背包、远距离传送或双跳,增加了NavMesh的复杂性,使其在许多实际场景中变得难以处理。因此,游戏设计者只能在想要NPC导航的情况下添加NavMesh可以处理的能力。作为替代方案,我们建议使用深度强化学习(Deep RL)来学习如何使用任何导航功能导航3D地图。我们在Unity游戏引擎中的复杂3D环境中测试了我们的方法,这些环境明显比Deep RL文献中通常使用的地图大一个数量级。其中一个地图是直接模仿育碧AAA游戏。我们发现,我们的方法表现得令人惊讶的好,实现至少$90\%$的成功率在所有测试的情况下。我们的结果视频可在https://youtu.be/WFIf9Wwlq8M上获取。
2020-11-17 cs.CV cs.LG
Reinforcement Learning for UAV Autonomous Navigation, Mapping and Target Detection
DEI - CNIT University of Bologna(博洛尼亚大学 DEI - CNIT);CNR-IEIIT(意大利国家研究委员会电子、信息工程与电信研究所);ECE Department Stony Brook University(石溪大学电子与计算机工程系)
本文研究了在未知环境中,装备低复杂度雷达的单架无人机的联合探测、测绘和导航问题。目标是优化其轨迹,目的是最大限度地提高映射精度,同时避免从目标检测的角度来看测量可能没有足够信息的区域。该问题被公式化为马尔可夫决策过程(MDP),其中UAV是运行用于目标检测和环境映射的状态估计器以及用于推断其自己的导航策略的强化学习(RL)算法(即,控制法)。数值结果表明,所提出的想法的可行性,突出了无人机的自主探索区域的能力与目标检测的高概率,同时重建周围的环境。
2020-05-05 cs.LG cs.RO eess.SP
NavRep: Unsupervised Representations for Reinforcement Learning of Robot Navigation in Dynamic Human Environments
ETH Zürich(苏黎世联邦理工学院)
机器人导航是一项强化学习方法仍然无法与传统路径规划竞争的任务。最先进的方法在很小的方面有所不同,并且并不都提供可复制的、公开可用的实现。这使得比较方法成为一个挑战。最近的研究表明,无监督学习方法可以令人印象深刻地扩展,并被用来解决难题。在这项工作中,我们设计的方法,无监督学习可以用来协助机器人导航的强化学习。我们训练了两个端到端和18个基于无监督学习的架构,并在看不见的测试用例中将它们与现有方法进行比较。我们展示了我们的方法在现实生活中的机器人上工作。我们的研究结果表明,无监督学习方法与端到端方法相比具有竞争力。我们还强调了各种组件的重要性,如输入表示,预测无监督学习和潜在特征。我们将所有的模型、培训和测试环境以及工具都公开提供。此版本还包括OpenAI-gym兼容环境,旨在模拟其他论文描述的训练条件,尽可能逼真。我们希望这有助于将RL领域整合到机器人导航中,并允许对最先进的方法进行有意义的比较。
2020-12-08 cs.LG cs.RO
Cross-Modal Navigation with Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences(计算机科学学院)
本文提出CRONA框架,通过多智能体强化学习实现跨模态导航,利用辅助信念和集中式多模态批评者提升协作效率,实验表明多智能体方法在视觉-听觉导航中优于单智能体基线。
2026-05-07 cs.AI cs.LG cs.MA
A Deep Reinforcement Learning Approach to Audio-Based Navigation in a Multi-Speaker Environment
National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);University of Piraeus(比雷埃夫斯大学)
在这项工作中,我们使用深度强化学习来创建一个自主智能体,它可以只使用来自环境的原始听觉感官信息在二维空间中导航,这个问题在强化学习文献中很少受到关注。我们的实验表明,代理可以成功地识别特定的目标扬声器之间的一组$N$预定义的扬声器在一个房间里,并向该扬声器移动,同时避免与其他扬声器碰撞或走出房间边界。该代理被证明是强大的扬声器音高变化,它可以学习导航的环境,即使是有限数量的训练话语可用于每个扬声器。
2021-05-10 cs.LG cs.SD eess.AS
HRL4IN: Hierarchical Reinforcement Learning for Interactive Navigation with Mobile Manipulators
Stanford University(斯坦福大学)
人类环境中最常见的导航任务需要辅助手臂交互,例如开门、按下按钮和推开障碍物。这种类型的导航任务,我们称之为交互式导航,需要使用移动操纵器:具有操纵能力的移动基地。交互式导航任务通常是长时间的,由纯导航、纯操作及其组合的异构阶段组成。使用实施例的错误部分是低效的并且阻碍进展。我们提出了HRL 4 IN,一种新的分层RL架构的交互式导航任务。HRL 4 IN利用了HRL在平面RL上的探索优势,用于长视野任务,这要归功于对子目标的时间延长承诺。与其他HRL解决方案不同,HRL 4 IN通过在任务的不同阶段在不同空间中创建子目标来处理交互式导航任务的异构性。此外,HRL 4 IN选择实施例的不同部分用于每个阶段,从而提高能量效率。我们评估HRL 4 IN对平面PPO和HAC,一个国家的最先进的HRL算法,在两个环境中的交互式导航-一个2D网格世界环境和一个3D环境与物理模拟。我们表明,HRL 4 IN在任务性能和能源效率方面显着优于其基线。更多信息请访问https://sites.google.com/view/hrl4in。
2019-10-24 cs.AI cs.CV cs.LG
PRM-RL: Long-range Robotic Navigation Tasks by Combining Reinforcement Learning and Sampling-based Planning
Google Brain(谷歌大脑);University of New Mexico(新墨西哥大学)
我们提出了PRM-RL,远程导航任务完成的分层方法,结合基于采样的路径规划与强化学习(RL)。RL代理学习短距离,点对点的导航策略,捕获机器人动态和任务约束,而无需大规模拓扑结构的知识。接下来,基于采样的规划者提供连接机器人配置的路线图,这些配置可以由RL代理成功导航。相同的RL代理用于在规划的指导下控制机器人,从而实现远程导航。我们使用概率路线图(PRM)的抽样为基础的规划。RL代理是在连续状态和动作空间中使用基于特征的深度神经网络策略构建的。我们评估PRM-RL,无论是在模拟和机器人上,在两个导航任务与非平凡的机器人动力学:端到端的差分驱动室内导航在办公室环境中,在城市环境中的空中货物交付与负载位移的限制。我们的研究结果表明,在任务完成的RL代理自己和传统的抽样为基础的规划。在室内导航任务中,PRM-RL在嘈杂的传感器条件下成功完成了长达215米的轨迹,而空中货物交付在比训练中使用的环境大6300万倍的环境中完成了超过1000米的飞行,而没有违反任务限制。
2018-05-16 cs.AI cs.LG cs.RO
Robot Navigation Anticipative Strategies in Deep Reinforcement Motion Planning
机器人在动态城市环境中的导航,需要精心设计的预期策略,以避免与动态物体(如自行车或行人)发生碰撞,并具有人类意识。我们已经开发和分析了三个预期的策略,在运动规划考虑到未来的运动的移动对象,可以移动到18公里/小时。首先,我们使用了我们的混合策略,该策略来自深度确定性策略梯度(DDPG)训练和社会力模型(SFM),并且我们在四个具有许多行人的复杂地图场景中进行了模拟测试。其次,我们已经使用这些预期的策略在现实生活中的实验中使用的混合运动规划方法和ROS导航堆栈与动态窗口的方法(NS-DWA)。在模拟和现实生活中的实验结果表明,在开放的环境中,也在狭窄的空间混合场景非常好的结果。
2022-10-15 cs.LG cs.RO
A Continual Offline Reinforcement Learning Benchmark for Navigation Tasks
Inria, Univ. Lille, CNRS, Centrale Lille, UMR 9198-CRIStAL, F-59000 Lille, France(法国里尔大学、法国国家科学研究中心、中央里尔学院、UMR 9198-CRIStAL)
本文提出一个连续离线强化学习导航任务基准测试,通过视频游戏场景评估算法性能,解决灾难性遗忘、任务适应和内存效率等关键挑战。
2026-01-30 cs.LG
A Deep Reinforcement Learning Approach for Audio-based Navigation and Audio Source Localization in Multi-speaker Environments
National and Kapodistrian University of Athens(雅典国家与卡波季斯特里安大学)
在这项工作中,我们将深度强化学习应用于导航三维环境和推断人类扬声器音频源的位置的问题,在唯一可用信息是来自环境的原始声音的情况下,因为放置在环境中的模拟人类听众会听到它。为此,我们使用Unity游戏引擎创建了两个虚拟环境,一个提出基于音频的导航问题,一个提出音频源定位问题。我们还创建了一个自主智能体的基础上PPO在线强化学习算法,并试图训练它来解决这些环境。我们的实验表明,我们的代理实现足够的性能和泛化能力,在这两种环境中,通过定量指标测量,即使当有限的训练数据或环境参数的变化,在训练过程中没有遇到的方式。我们还表明,一定程度的代理知识转移是可能的环境之间。
2021-11-27 cs.LG cs.SD eess.AS
A Zero-Shot Reinforcement Learning Strategy for Autonomous Guidewire Navigation
Inria de l’université de Loraine(洛林大学国立计算机与自动化研究院);Icube(Icube研究院)
针对现有深度强化学习导丝导航方法泛化性差的问题,提出基于小样本分支模式训练的零样本强化学习策略,可在未知血管解剖结构中无需重训练实现高效导航,平均成功率达95%。
2024-03-05 cs.LG cs.RO physics.med-ph
Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics
University of Luebeck(吕贝克大学);KION Group AG(凯傲集团股份公司);Montanuniversität Leoben(莱奥本矿业大学)
我们提出了一种深度强化学习方法来解决仓库场景中的无地图导航问题。在我们的方法中,自动引导车辆配备了LiDAR和正面RGB传感器,并学习执行有针对性的导航任务。挑战在于用于学习的正样本的稀疏性、具有部分可观测性的多模态传感器感知、对精确转向机动的需求以及长训练周期。为了解决这些问题,我们提出NavACL-Q作为一种自动课程学习的方法,结合分布式版本的软演员-评论家算法。学习算法的性能在一个看不见的仓库环境中进行了详尽的评估,以验证学习策略的鲁棒性和通用性。NVIDIA Isaac Sim中的结果表明,经过训练的智能体的性能明显优于NVIDIA Isaac Sim提供的基于地图的导航管道,其智能体目标距离增加了3米,初始相对智能体目标旋转了45度。消融研究还表明,NavACL-Q极大地促进了学习过程,与随机开始的训练相比,性能增益约为40%,并且使用预训练的特征提取器明显提高了约60%的性能。
2022-03-16 cs.LG cs.RO
Benchmarking Deep Reinforcement Learning for Navigation in Denied Sensor Environments
Cranfield University(克兰菲尔德大学)
本文基准测试了多种深度强化学习算法在传感器拒止环境中的导航性能,发现DreamerV3优于PPO等方法,并证明对抗训练可提升拒止环境下的鲁棒性但会牺牲原始环境性能。
2024-10-18 cs.AI cs.LG cs.RO
Realistic Curriculum Reinforcement Learning for Autonomous and Sustainable Marine Vessel Navigation
本文提出基于现实课程强化学习的框架,结合数据驱动的海洋模拟和机器学习预测模块,以实现自主且可持续的船舶导航。
2026-01-15 cs.LG
Reward Shaping with Subgoals for Social Navigation
National Institute of Informatics(国立情报学研究所)
社交导航随着机器智能的发展而受到关注。由于强化学习可以在预测阶段以较低的计算成本选择动作,因此它已被制定在社会导航任务中。然而,强化学习需要大量的迭代,直到在学习阶段获得行为策略。这对机器人在现实世界中的行为学习产生了负面影响。特别地,社交导航包括在环境中不可预测地移动障碍物的人。我们提出了一种带有子目标的奖励塑造方法来加速学习。主要部分是一个聚合方法,使用子目标来塑造一个强化学习算法。我们进行了一个社会导航任务的学习实验,其中机器人避免碰撞,然后达到其目标。实验结果表明,该方法提高了学习效率从一个基本算法在任务。
2021-04-13 cs.AI cs.LG cs.RO
Toward AI Autonomous Navigation for Mechanical Thrombectomy using Hierarchical Modular Multi-agent Reinforcement Learning (HM-MARL)
本研究提出分层模块多智能体强化学习框架,实现机械取栓中双设备自主导航,展示体外导航能力及泛化挑战。
2026-02-20 cs.LG cs.RO