Learning to Socially Navigate in Pedestrian-rich Environments with Interaction Capacity
University of Science and Technology of China（中国科学技术大学）
现有的自主机器人导航策略往往侧重于避免碰撞，而忽略了社会生活中的人机交互。例如，如果行人注意到它们，机器人可以更安全、更容易地通过走廊。声音被认为是吸引行人注意力的有效方式，可以缓解机器人冻结的问题。在这项工作中，我们提出了一种新的深度强化学习（DRL）为基础的社会导航方法，自主机器人移动在具有交互能力的环境中。大多数现有的基于DRL的方法旨在训练输出导航动作，即，期望机器人的线速度和角速度，以及交互动作，即，在强化学习的上下文中的哔哔声动作。与这些方法不同的是，我们打算通过监督学习和强化学习来训练策略。具体来说，我们首先在监督学习的背景下训练交互策略，这提供了对社会状况的更好理解，然后我们使用此交互策略通过多个强化学习算法来训练导航策略。我们评估我们的方法在各种模拟环境中，并将其与其他方法进行比较。实验结果表明，我们的方法优于别人的成功率。我们还将训练后的策略部署在现实世界的机器人上，在拥挤的环境中表现出良好的性能。
2022-03-30 cs.RO
Crowd against the machine: A simulation-based benchmark tool to evaluate and compare robot capabilities to navigate a human crowd
Univ Rennes Inria CNRS IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、IRISA研究所）；EPFL（洛桑联邦理工学院）；ETH（苏黎世联邦理工学院）
评估机器人在人群中导航的能力对于构思用于在公共场所工作的新机器人至关重要。本文发起了一个基准工具的开发，以评估这种能力，我们的长期愿景是提供一个仿真工具，产生虚拟拥挤的环境来测试机器人，建立标准的场景和指标来评估导航技术的安全性和效率，从而安装新的方法来基准机器人的人群导航能力。本文介绍了模拟工具的架构，介绍了第一个场景和评估指标，以及早期的结果，以证明我们的解决方案是相关的，可用作基准工具。
2021-04-29 cs.RO
Collision-Free Robot Navigation in Crowded Environments using Learning based Convex Model Predictive Control
College of Mechanical and Electrical Engineering, China Jiliang University（中国计量大学机电工程学院）
本文提出一种结合深度强化学习、凸无障碍区域与模型预测控制的机器人导航框架，通过从激光雷达数据中提取凸区域并设计无碰撞动作空间，在拥挤复杂环境中实现了优于时间弹性带方法的导航性能。
2024-10-19 cs.RO
Learning to Navigate in Indoor Environments: from Memorizing to Reasoning
Harbin Institute of Technology（哈尔滨工业大学）
自主导航是移动机器人实现智能移动的基本能力。传统的路径规划方法必须有环境地图来规划工作空间中的无碰撞路径。深度强化学习（Deep reinforcement learning，DRL）是实现无地图自主导航任务的一种很有前途的技术，利用深度神经网络可以通过探索拟合从观察到合理行动的映射。它不仅要记住训练的目标，更重要的是，规划者可以推理出看不见的目标。我们提出了一种新的基于深度强化学习的运动规划器，该运动规划器可以在室内环境中仅使用RGB图像和里程计来达到之前没有训练过的新目标。该模型具有堆叠的长短期记忆（LSTM）结构。最后，在模拟和真实环境中进行了实验。源代码可以在https://github.com/marooncn/navbot上找到。
2019-04-21 cs.RO
NavG: Risk-Aware Navigation in Crowded Environments Based on Reinforcement Learning with Guidance Points
Institute of Robotics and Automatic Information System, Nankai University（南开大学机器人与自动信息系统研究所）；Huawei 2012 Lab（华为2012实验室）
针对导航系统运动规划易受上游感知误差影响的问题，提出基于强化学习的引导点机制及其感知到规划的映射策略，有效融合多源感知数据，显著提升了拥挤环境下的导航安全性与效率。
2025-03-03 cs.RO
An Energy-Saving Snake Locomotion Gait Policy Obtained Using Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
蛇形机器人，由顺序连接的关节驱动器，最近得到了越来越多的关注，在工业领域，如生命探测在狭窄的空间。这样的机器人可以通过位于骨干上的多个电机的合作，通过复杂的环境中导航。然而，在未知环境中控制机器人是具有挑战性的，并且传统的控制策略可能是能量效率低的，甚至无法导航到目的地。在这项工作中，通过深度强化学习（DRL）开发了一种蛇运动步态策略，用于节能控制。我们将近端策略优化（PPO）应用于由角速度参数化的每个关节电机，并且DRL代理在每个时间步学习标准蛇形曲线。机器人模拟器和任务环境是基于PyBullet构建的。与传统的控制策略相比，经过训练的PPO智能体控制的蛇形机器人可以实现更快的运动速度和更节能的运动步态。这项工作表明，DRL为机器人控制提供了一种节能的解决方案。
2021-04-21 cs.LG cs.RO
DR-MPC: Deep Residual Model Predictive Control for Real-world Social Navigation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；Apple（苹果公司）
针对机器人在复杂人类运动模式下的安全导航问题，提出DR-MPC融合MPC与无模型DRL，克服DRL数据需求大、初始行为不安全的挑战，仅需4小时训练数据即可在真实拥挤场景中高效导航。
2025-02-14 cs.AI cs.LG cs.RO
Autonomous Navigation of 4WIS4WID Agricultural Field Mobile Robot using Deep Reinforcement Learning
Indian Institute of Technology Kanpur（印度坎普尔理工学院）
本文针对农业4.0场景下4WIS4WID移动机器人的自主导航问题，提出将四轮转向配置参数化为两个变量，并利用深度强化学习实现作物行跟踪与多行点对点导航，最后对多种连续动作DRL算法进行了比较分析。
2024-12-25 cs.RO
Learn to Navigate Maplessly with Varied LiDAR Configurations: A Support Point-Based Approach
深度强化学习（DRL）在无地图导航领域显示出巨大的潜力。然而，这样的导航模型通常限于距离传感器的固定配置，因为其输入格式是固定的。在本文中，我们提出了一个DRL模型，可以解决从不同的距离传感器与不同的安装位置获得的距离数据。我们的模型首先从每个障碍点提取目标导向特征。随后，它从所有点特征候选者中选择全局障碍物特征，并使用这些特征进行最终决策。由于只有几个点用于支持最终决策，我们将这些点称为支持点，我们的方法称为基于支持点的导航（SPN）。我们的模型可以处理来自不同LiDAR设置的数据，并在模拟和真实实验中表现出良好的性能。此外，当使用高分辨率LiDAR时，它在具有小障碍物的拥挤场景中显示出巨大的潜力。
2021-03-11 cs.AI cs.RO
Human-Following and -guiding in Crowded Environments using Semantic Deep-Reinforcement-Learning for Mobile Service Robots
Berlin Institute of Technology（柏林工业大学）
辅助机器人在物流、人力辅助等各个行业都得到了广泛的关注。在诸如机场或训练站的拥挤环境中引导或跟随人搬运重物或货物的任务仍然是一个公开的问题。在这些用例中，机器人不仅需要与人类进行智能交互，还需要在人群中安全导航。因此，特别是高度动态的环境由于人类的易变行为模式和不可预测的运动而构成了巨大的挑战。在本文中，我们提出了一种基于深度强化学习的智能体，用于在拥挤的环境中执行人类引导和跟随任务。因此，我们将语义信息提供给代理人的高级信息，如人类的社会状态，安全模型和类类型。我们评估我们提出的方法对基准方法没有语义信息，并证明了增强的导航安全性和鲁棒性。此外，我们证明了智能体可以学习适应人类的行为，这大大提高了人机交互。
2022-06-12 cs.HC cs.RO
Forecasting Social Navigation in Crowded Complex Scenes
Stanford University（斯坦福大学）
当人们在拥挤的空间中穿行时，比如在大学校园或繁忙街道的人行道上，他们会遵循基于社交礼仪的常识规则。在本文中，我们认为，为了能够设计出能够充分利用这些规则的新算法，以更好地解决目标跟踪或轨迹预测等任务，我们首先需要获得更好的数据。为此，我们贡献了第一个大规模数据集（据我们所知），该数据集收集了在真实户外环境（如大学校园）中导航的各种类型目标（不仅是行人，还有骑自行车的人，滑板者，汽车，公共汽车，高尔夫球车）的图像和视频。我们提出了一个广泛的评估，不同的方法进行评估和比较的轨迹预测。此外，我们提出了一种新的轨迹预测算法，该算法利用了我们新数据集的复杂性，并允许：i）将类间交互纳入轨迹预测模型（例如，行人与自行车），而不仅仅是类内交互（例如，行人对行人）; ii）对社会力量调节相互作用的程度进行建模。我们称后者为“社会敏感性”，它捕捉了目标对某种互动做出反应的敏感性。一个广泛的实验评估证明了我们的新方法的有效性。
2016-01-05 cs.CV cs.RO cs.SI
Enhancing Navigational Safety in Crowded Environments using Semantic-Deep-Reinforcement-Learning-based Navigation
Berlin Institute of Technology（柏林工业大学）
社交人群中的智能导航是移动机器人的一个重要方面，用于交付，医疗保健或援助等应用。深度强化学习作为保守方法的替代规划方法出现，并承诺更有效和灵活的导航。然而，在高度动态的环境中，采用不同种类的障碍物类，安全航行仍然提出了一个巨大的挑战。在本文中，我们提出了一种基于语义深度强化学习的导航方法，该方法通过考虑高级障碍物信息来教授特定于对象的安全规则。特别是，智能体通过考虑特定的危险区域来学习特定于对象的行为，以增强脆弱对象类周围的安全性。我们测试的方法对基准避障方法，并发现增加了安全性。此外，我们证明了智能体可以通过保持依赖于语义信息的个人安全距离来学习更安全地导航。
2021-09-23 cs.LG cs.RO
Can a Robot Trust You? A DRL-Based Approach to Trust-Driven Human-Guided Navigation
University of Maryland, College Park（马里兰大学帕克分校）
众所周知，人类使用各种感知输入来构建其日常环境的认知地图。因此，当一个人被要求向一个特定的位置方向，他们的寻路能力转换这个认知地图到方向指令的挑战。由于空间焦虑，口头指示中使用的语言可能是模糊的，往往不清楚。为了解释这种不可靠的导航指导，我们提出了一种新的基于深度强化学习（DRL）的信任驱动的机器人导航算法，学习人类的可信度来执行语言引导的导航任务。我们的方法旨在回答机器人是否可以信任人类的导航指导的问题。为此，我们着眼于训练一种策略，该策略仅使用可信赖的人类指导来学习导航到目标位置，并由其自己的机器人信任度量驱动。我们着眼于从基于语言的指令中量化各种情感特征，并以人类信任度量的形式将它们纳入我们的策略的观察空间。我们利用这两个信任度量到一个最佳的认知推理方案，决定何时和何时不信任给定的指导。我们的研究结果表明，学习的政策可以导航环境中的最佳，时间效率的方式，而不是一个探索性的方法，执行相同的任务。我们在模拟和现实环境中展示了我们的结果的有效性。
2020-11-01 cs.AI cs.MA cs.RO
Self-navigation in crowds: An invariant set-based approach
Indian Institute of Technology Bombay（印度理工学院班加罗尔）
本文提出了一种基于不变集的自主导航方法，通过输入受限反馈控制器和规划策略，实现非协调拥挤环境中安全快速的多智能体导航。
2024-01-17 cs.RO
Avoidance Navigation Based on Offline Pre-Training Reinforcement Learning
National Unveristy of Singapore ECE Department of College of Design
本文提出一种基于离线预训练深度强化学习的无地图移动机器人避障导航方法，利用专家经验数据集和优先经验策略，显著减少训练时间并提升奖励，实现了跨场景的无碰撞泛化导航。
2023-08-03 cs.AI cs.RO
Group-based Motion Prediction for Navigation in Crowded Environments
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
我们专注于规划的问题，在一个动态的多智能体环境，如行人场景的机器人的运动。使机器人能够安全地导航，并在社会上兼容的方式在这样的场景需要一个表示，占展开的多智能体动态。现有的解决这个问题的方法往往采用微观模型的运动预测的原因对其他代理的个人行为。虽然这些模型可以在轨迹预测基准中实现高跟踪精度，但它们通常缺乏对在拥挤场景中展开的组结构的理解。受心理学中的完形理论的启发，我们建立了一个模型预测控制框架（G-MPC），利用基于群体的预测机器人运动规划。我们进行了广泛的模拟研究，涉及一系列具有挑战性的导航任务，从两个真实世界的行人数据集提取的场景。我们说明，G-MPC使机器人能够实现统计上显着更高的安全性和更低数量的组入侵比一系列的基线具有个人的行人运动预测模型。最后，我们表明，G-MPC可以处理噪声激光雷达扫描估计没有显着的性能损失。
2022-03-16 cs.HC cs.RO
Pedestrian-Aware Motion Planning for Autonomous Driving in Complex Urban Scenarios
本文提出一种结合社会力原理和风险感知的运动规划算法，用于解决复杂城市环境中自动驾驶车辆与行人交互的安全高效规划问题。
2025-04-02 cs.RO
On the Benefits of Robot Platooning for Navigating Crowded Environments
School of Electrical and Electronic Engineering, The University of Sheffield（谢菲尔德大学电气与电子工程学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文研究机器人在拥挤人群中的导航策略，通过仿真比较列队行进与贪心策略在三种人群场景下的表现，并提出一种自适应切换策略以结合两者优势。
2024-10-18 cs.MA cs.RO
Dimension-variable Mapless Navigation with Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）；Advanced Remanufacturing and Technology Centre（先进再制造与技术中心）；Zhejiang University（浙江大学）
针对深度强化学习训练的导航智能体受固定机器人尺寸限制的问题，提出含可变尺寸技能迁移（DVST）的方法，通过元智能体训练与观测、策略缩放实现跨尺寸迁移，无需重训练即可让不同尺寸机器人在未知动态环境导航，拓展了DRL导航方法的适用性。
2023-06-12 cs.RO
Social Navigation in Crowded Environments with Model Predictive Control and Deep Learning-Based Human Trajectory Prediction
University of Delaware（特拉华大学）；Cornell University（康奈尔大学）；Honda Research Institute USA, Inc.（美国本田研究院有限公司）
该研究提出将 Social-LSTM 行人轨迹预测与 MPC 规划耦合，在模拟人群中实现考虑多智能体交互的社会导航，并优于多种强化学习基线。
2023-09-28 cs.MA cs.RO
Deep Reinforcement Learning-Based Mapless Crowd Navigation with Perceived Risk of the Moving Crowd for Mobile Robots
School of Digital Science, Universiti Brunei Darussalam（文莱达鲁萨兰大学数字科学学院）
针对DRL人群导航泛化与可扩展性不足，本文在观测空间引入碰撞概率并结合局部路径点训练，实现多场景无需微调的安全无地图导航。
2023-09-23 cs.AI cs.LG cs.RO
SoLo T-DIRL: Socially-Aware Dynamic Local Planner based on Trajectory-Ranked Deep Inverse Reinforcement Learning
University of Michigan（密歇根大学）
这项工作提出了一个新的框架，社会意识的动态本地规划在拥挤的环境中建立在最近提出的轨迹排名最大熵深度逆强化学习（T-MEDIRL）。为了解决社交导航问题，我们的多模态学习规划器明确地将社交互动因素以及社交意识因素考虑到T-MEDIRL管道中，以从人类演示中学习奖励函数。此外，我们提出了一种新的轨迹排名分数使用周围的机器人行人的突然速度变化，以解决次优人类示范。我们的评估表明，该方法可以成功地使机器人在拥挤的社会环境中导航，并在成功率，导航时间和入侵率方面优于最先进的社会导航方法。
2022-09-16 cs.AI cs.RO
An MCTS-DRL Based Obstacle and Occlusion Avoidance Methodology in Robotic Follow-Ahead Applications
Simon Fraser University（西蒙弗雷泽大学）
针对机器人前方跟随中的碰撞与遮挡问题，提出融合 MCTS 和深度强化学习的高层决策算法生成短期导航目标，并通过实验验证其优于现有方法。
2023-09-28 cs.RO cs.SY eess.SY
Modeling Cooperative Navigation in Dense Human Crowds
Carnegie Mellon University（卡内基梅隆大学）
为了让机器人成为我们日常生活的一部分，它们不仅需要能够安全地在人群中导航，而且还需要以符合社会要求的方式导航。这是一个具有挑战性的问题，因为人类倾向于通过相互隐式合作来避免碰撞，同时朝着各自的目的地前进。以前的方法使用基于接近度的手工函数来模拟人与人和人与机器人的交互。然而，这些方法只能模拟简单的交互，而不能推广到复杂的拥挤环境。在本文中，我们开发了一种方法，通过本地的互动模型，我们训练使用真正的人类轨迹数据模型的联合分布在未来的轨迹的所有互动代理在人群中。交互模型根据附近其他代理的空间方向推断每个代理的速度。在预测过程中，我们的方法从过去的轨迹推断智能体的目标，并使用学习的模型来预测其未来的轨迹。我们在公共数据集上展示了我们的方法与最先进方法的性能，并表明我们的模型在预测更长时间内的未来轨迹时表现出色。
2017-05-17 cs.RO
Uncertainty-Aware DRL for Autonomous Vehicle Crowd Navigation in Shared Space
University of Waterloo（滑铁卢大学）
提出一种不确定性感知的DRL方法，通过新颖奖励函数纳入行人预测不确定性，在真实行人仿真环境中训练，显著降低碰撞率并提升安全距离，优于现有模型和MPC方法。
2024-05-22 cs.AI cs.LG cs.RO
Obtaining Robust Control and Navigation Policies for Multi-Robot Navigation via Deep Reinforcement Learning
Fraunhofer IML（弗劳恩霍夫物流研究院）；Westfälische Hochschule Gelsenkirchen（盖尔森基兴威斯特伐利亚应用科学大学）
多机器人导航是一个具有挑战性的任务，其中多个机器人必须同时协调动态环境中。我们应用深度强化学习（DRL）来学习一种分散的端到端策略，该策略将原始传感器数据映射到代理的命令速度。为了使策略能够泛化，在不同的环境和场景中执行训练。在常见的多机器人场景中，如切换一个地方，一个十字路口和一个瓶颈的情况下，学习的政策进行测试和评估。此策略允许代理从死胡同中恢复并在复杂环境中导航。
2022-09-07 cs.RO
Noise-enabled goal attainment in crowded collectives
John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA 02138（约翰·A·保罗森工程与应用科学学院，哈佛大学，马萨诸塞州剑桥02138）；Department of Applied Physics and Science Education, Eindhoven University of Technology, Eindhoven 5600 MB, The Netherlands（应用物理与科学教育系，埃因霍温理工大学，埃因霍温5600 MB，荷兰）；Department of Physics, Harvard University, Cambridge, MA 02138（物理系，哈佛大学，马萨诸塞州剑桥02138）；Department of Organismic and Evolutionary Biology, Harvard University, Cambridge, MA 02138（有机与进化生物学系，哈佛大学，马萨诸塞州剑桥02138）
本文通过引入噪声减少交通拥堵并提高目标到达效率，探索了拥挤环境中鲁棒、去中心化的导航方法。
2026-02-24 cond-mat.soft cs.MA cs.RO
Learning to Adapt through Bio-Inspired Gait Strategies for Versatile Quadruped Locomotion
School of Mechanical Engineering, University of Leeds（利兹大学机械工程学院）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
本研究将动物运动的步态转换、记忆和实时调整原则融入深度强化学习，实现四足机器人无需外部感知即可在多步态间切换并恢复稳定，在真实地形上零样本部署且显著优于基线。
2025-06-22 cs.RO
A Hybrid Approach to Indoor Social Navigation: Integrating Reactive Local Planning and Proactive Global Planning
Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学）
本文提出一种融合全局规划与深度强化学习局部规划的混合社交导航框架，并引入新的室内2D基准，实验表明该方法优于传统和强化学习导航策略。
2025-06-03 cs.RO
Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning
Albert Ludwig University of Freiburg（阿尔伯特-路德维希-弗莱堡大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了深度强化学习（DRL）方法学习移动机器人导航策略的探索策略。特别是，我们用好奇心测量的内在奖励信号来增强训练DRL算法的正常外部奖励。我们在无地图导航设置中测试我们的方法，其中要求自主智能体在没有环境的占用地图的情况下导航到其相对位置可以通过低成本解决方案容易地获取的目标（例如，可见光定位、Wi-Fi信号定位）。我们验证了内在动机是至关重要的，以提高DRL性能的任务具有挑战性的探索要求。我们的实验结果表明，我们提出的方法能够更有效地学习导航策略，并在以前看不见的环境中具有更好的泛化能力。我们的实验结果的视频可以在https://goo.gl/pWbpcF上找到。
2018-05-14 cs.AI cs.LG cs.RO
End-to-end Decentralized Multi-robot Navigation in Unknown Complex Environments via Deep Reinforcement Learning
Sun Yat-sen University（中山大学）
本文提出了一种基于深度强化学习（DRL）的机器人团队导航方法，通过未知的复杂环境，机器人团队的几何质心旨在到达目标位置，同时避免碰撞并保持连通性。分散的机器人级别的政策是使用集中学习和分散执行的机制。所提出的方法可以得到端到端的政策，映射到机器人的速度控制命令的原始激光雷达测量，而无需构建障碍物地图。仿真和室内真实无人地面车辆（UGV）实验结果验证了该方法的有效性。
2019-07-03 cs.RO
Learning Contact-based Navigation in Crowds
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在拥挤的环境中有意地结合与人类的接触（即“基于接触的”社交导航）的导航策略在很大程度上是未开发的，即使无碰撞的社交导航是一个很好的研究问题。传统的社交导航框架要求机器人在即将发生碰撞时突然停止或“冻结”。这种模式提出了两个问题：1）在人群中导航时冻结可能会导致人们绊倒并摔倒在机器人身上，导致比碰撞本身更大的伤害，以及2）在碰撞不可避免的非常密集的社会环境中，这种控制方案将使机器人无法移动，并排除研究人类如何将机器人纳入这些环境的机会。然而，如果机器人要被有意义地包括在拥挤的社交空间中，例如繁忙的街道、地铁、商店或其他人口密集的场所，则可能不存在可以保证零碰撞的轨迹。因此，在这些环境中采用机器人需要开发最小破坏性的导航计划，可以安全地计划和响应接触。我们提出了一个基于学习的运动规划和控制方案，导航密集的社会环境中使用安全的联系人的全向移动机器人。规划者进行了评估，在模拟超过360个试验，人群密度在0.0和1.6人每平方米之间变化。据我们所知，我们的导航方案能够使用接触来安全地在比以前报道的密度更高的人群中导航。
2023-03-02 cs.CY cs.HC cs.LG
TD3 Based Collision Free Motion Planning for Robot Navigation
Northeastern University（东北大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Columbia University（哥伦比亚大学）
本文提出TD3-DWA混合算法，融合DWA与TD3并优化采样间隔参数，实现复杂环境下机器人无碰撞路径规划，仿真实验验证其提升自主导航可靠性与安全性。
2024-05-24 cs.RO
Obstacle-aware Waypoint Generation for Long-range Guidance of Deep-Reinforcement-Learning-based Navigation Approaches
Berlin Institute of Technology（柏林工业大学）
在拥挤的环境中导航移动机器人是各种用例中的一项重要任务，例如交付，医疗保健或物流。深度强化学习（DRL）作为替代方法出现，以取代过于保守的方法，并承诺更有效和灵活的导航。然而，深度强化学习由于其近视性而仅限于局部导航。以前的研究工作提出了各种方法将深度强化学习与传统方法相结合，但一个常见的问题是高度动态环境的复杂性，这是由于人类和环境中其他物体的不可预测性。在本文中，我们提出了一个分层的航路点生成器，它考虑了移动障碍物，从而为基于深度强化学习的本地规划器生成更安全，更鲁棒的航路点。因此，我们利用德洛内三角剖分编码的障碍，并结合扩展的混合A-Star方法，有效地搜索在时间状态空间的最优解。我们将我们的路点生成器与两种基线方法进行了比较，并在安全性，效率和鲁棒性方面优于它们。
2021-09-23 cs.RO
Robust Reinforcement Learning-based Autonomous Driving Agent for Simulation and Real World
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
深度强化学习（Deep Reinforcement Learning，DRL）近年来已成功应用于解决复杂棋盘游戏和计算机游戏等挑战。然而，用DRL解决现实世界的机器人任务似乎是一个更困难的挑战。理想的方法是在模拟器中训练代理，然后将其转移到现实世界中。尽管如此，由于这些差异，在模拟器中训练的模型在现实环境中往往表现不佳。在本文中，我们提出了一种基于DRL的算法，能够使用深度Q网络（DQN）进行自主机器人控制。在我们的方法中，代理在模拟环境中进行训练，并且能够在模拟和真实世界环境中导航。该方法在Duckietown环境中进行评估，其中代理必须根据单目摄像机输入来跟踪车道。经过训练的代理能够在有限的硬件资源上运行，其性能与最先进的方法相当。
2020-09-23 cs.LG cs.RO
Event-Enhanced Multi-Modal Spiking Neural Network for Dynamic Obstacle Avoidance
Dalian University of Technology（大连理工大学）；Princeton University（普林斯顿大学）；National University of Singapore（新加坡国立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对现有SNN避障方法难以处理动态场景的问题，提出融合事件相机与激光数据的EEM-SAN网络，通过无监督表示学习提取运动信息、可学习阈值实现多模态融合，显著提升动态避障性能。
2023-10-03 cs.RO
An A* Curriculum Approach to Reinforcement Learning for RGBD Indoor Robot Navigation
Ford Greenfield Labs（福特格林菲尔德实验室）
训练机器人在不同的环境中导航是一个具有挑战性的问题，因为它涉及到几个不同的感知任务，如地图和定位，其次是最佳路径规划和控制的融合。最近发布的照片逼真模拟器（如Habitat）允许训练直接从感知输出控制动作的网络：代理使用深度强化学习（DRL）以端到端的方式直接从相机图像回归到控制输出。这是数据效率低下的，并且可能需要几天的时间在GPU上进行训练。本文试图通过分离感知和控制神经网络的训练，并使用课程方法逐渐增加路径复杂度来克服这个问题。具体地，预训练的双变分自编码器（VAE）用于将来自环境的RGBD（RGB &深度）感测压缩成潜在嵌入，其然后用于训练基于DRL的控制策略。传统的路径规划器A* 被用作策略的指南，并且随着训练的进行，起始位置和目标位置之间的距离沿着A* 路线逐渐增加。我们证明了所提出的方法的有效性，无论是在人居模拟环境中的PointNav任务的性能提高和训练时间减少。这种改进基于直接感知的DRL导航策略的策略预计将加速工业界特别感兴趣的机器人的部署，例如工厂车间的协作机器人和最后一英里交付机器人。
2021-01-05 cs.LG cs.RO
Learning World Transition Model for Socially Aware Robot Navigation
Zhejiang University（浙江大学）
在动态行人环境中移动是对自主移动机器人的重要要求之一。我们提出了一个基于模型的强化学习方法，机器人导航通过拥挤的环境。导航策略的训练与真实的交互数据从多智能体仿真和虚拟数据从一个深过渡模型，预测周围的动态移动机器人的演变。该模型以激光扫描序列和机器人自身状态为输入，输出转向控制。将激光序列进一步转化为与机器人自身运动相分离的局部障碍物叠加图，将静态和动态障碍物分离，简化了模型训练。我们观察到，我们的方法可以在模拟器中使用显着较少的真实交互数据进行训练，但与其他方法相比，在社交导航任务中实现了类似的成功率水平。在仿真和真实机器人上进行了多个社会场景的实验，学习到的策略可以成功地引导机器人到达最终目标，同时以社会顺应的方式避开行人。代码可在https://github.com/YuxiangCui/model-based-social-navigation上获得
2020-11-08 cs.RO
Socially Integrated Navigation: A Social Acting Robot with Deep Reinforcement Learning
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种社交集成导航方法，使机器人社交行为通过深度强化学习从人机交互中自适应涌现，仿真表明其导航性能优于社交感知方法且减少对环境智能体的负面影响。
2024-07-26 cs.AI cs.LG cs.RO
Belief Aided Navigation using Bayesian Reinforcement Learning for Avoiding Humans in Blind Spots
Kyung Hee University（庆熙大学）
针对现有社交导航未考虑盲区风险的问题，提出BNBRL+算法，结合信念算法与贝叶斯神经网络，在部分可观测框架下推断风险并规划路径，实验验证其在拥挤盲区环境中导航的有效性。
2024-03-15 cs.AI cs.LG cs.RO
Obstacle-Avoidant Leader Following with a Quadruped Robot
Autonomous Systems Lab, ETH Zürich（苏黎世联邦理工学院自主系统实验室）
本文提出一种基于虚拟牵引绳的四足机器人跟随方法，融合射频应答器、RGB相机和LiDAR，并定制局部避障规划器，在ANYmal平台上验证了动态狭窄环境下的鲁棒跟随性能。
2025-03-07 cs.RO
Anticipatory Navigation in Crowds by Probabilistic Prediction of Pedestrian Future Movements
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
人类和机器人在动态环境中共存的关键是智能体能够理解彼此的动作，并预测他们的动作。本文介绍了随机过程预期导航（SPAN），一个框架，使非完整机器人在人群环境中导航，同时预期和占行人的运动模式。为此，我们学习了一个预测模型来预测连续时间随机过程，以模拟行人的未来运动。预期的行人位置被用来进行机会约束碰撞检查，并纳入到一个时间碰撞控制问题。还集成了占用地图，以允许与静态障碍物进行概率碰撞检查。我们展示了SPAN在拥挤的模拟环境中的能力，以及与现实世界的行人数据集。
2020-11-12 cs.LG cs.RO
Verifying Learning-Based Robotic Navigation Systems
The Hebrew University of Jerusalem（希伯来大学）；University of Verona（维罗纳大学）；The Weizmann Institute of Science（魏茨曼科学研究所）
深度强化学习（DRL）已成为在反应式系统中学习复杂策略的任务的主要深度学习范式。不幸的是，这些政策是众所周知的容易受到错误。尽管DNN验证取得了重大进展，但在现实世界中，DRL控制的系统上使用现代验证工具的工作很少。在这个案例研究中，我们试图开始弥合这一差距，并专注于无地图机器人导航的重要任务-一个经典的机器人问题，其中一个机器人，通常由DRL代理控制，需要有效和安全地通过一个未知的领域向目标导航。我们展示了现代验证引擎如何用于有效的模型选择，即，从候选策略池中为所述机器人选择最佳可用策略。具体来说，我们使用验证来检测和排除可能表现出次优行为的策略，例如冲突和无限循环。我们还应用验证来识别具有过度保守行为的模型，从而允许用户选择更好的策略，这可能更好地找到到达目标的更短路径。为了验证我们的工作，我们在实际机器人上进行了广泛的实验，并证实了我们的方法检测到的次优策略确实存在缺陷。我们还证明了我们的验证驱动的方法优于最先进的梯度攻击。我们的工作是第一个建立DNN验证在识别和过滤现实世界机器人中次优DRL策略方面的有用性，我们相信这里提出的方法适用于包含基于深度学习的代理的各种系统。
2023-01-10 cs.LG cs.RO math.OC
From Crowd Motion Prediction to Robot Navigation in Crowds
University of Washington（华盛顿大学）
我们专注于拥挤环境中的机器人导航。为了在人群中安全有效地导航，机器人需要人群运动预测模型。建立这样的模型是困难的，由于多智能体域的高维性和收集或模拟互动丰富的人群机器人演示的挑战。虽然离线行人运动预测模型已经取得了重要进展，但由于用户的密切交互设置和新奇效果，将其性能转移到真实机器人上并非易事。在本文中，我们研究了最近的国家的最先进的运动预测模型（S-GAN）的人群导航任务的效用。我们将此模型纳入模型预测控制器（MPC），并将其部署在一个自平衡机器人，我们在实验室中的各种人群行为。我们证明，虽然S-GAN运动预测准确性转移到现实世界中，但其价值并没有反映在导航性能上，在安全性和效率方面进行测量;事实上，即使使用简单的恒速预测模型，MPC也表现得无可挑剔，这表明可能需要对模型进行实质性改进，才能为人群导航任务带来显着收益。我们的实验录像可以在https://youtu.be/mzFiXg8KsZ0上找到。
2023-03-02 cs.RO
RUMOR: Reinforcement learning for Understanding a Model of the Real World for Navigation in Dynamic Environments
提出基于深度强化学习的差速驱动机器人规划器RUMOR，通过以机器人为中心的速度空间模型提取动态环境信息，并结合考虑运动动力学的动作空间和真实模拟器训练，在动态环境中实现了优于现有方法的导航性能及良好的现实迁移能力。
2025-04-28 cs.RO
Towards Using Fast Embedded Model Predictive Control for Human-Aware Predictive Robot Navigation
University of Stuttgart（斯图加特大学）；Bosch Corporate Research（博世公司研究部门）；ARENA2036 e.V.（ARENA2036 e.V.研究园区）
本文提出 HuMAN-MPC 算法，通过基于序列二次规划实时迭代的快速嵌入式 MPC 与可行性监测，实现密集人群中主动、清晰且可实时扩展的人类感知机器人导航。
2024-05-21 cs.RO
Frozone: Freezing-Free, Pedestrian-Friendly Navigation in Human Crowds
我们提出了Frozone，一种新的算法来处理冻结机器人问题（FRP）时出现的机器人导航通过密集的场景和人群。我们的方法感知并明确预测行人的轨迹，并构建潜在冰冻区（PFZ）;机器人可能冻结或妨碍人类的空间区域。我们的公式计算偏差速度，以避免PFZ，这也占社会约束。此外，Frozone专为配备传感器的机器人设计，传感器的传感范围和视野有限。我们确保机器人的偏差是有界的，从而避免突然的角运动，这可能会导致周围障碍物的感知数据的丢失。我们将Frozone与基于深度强化学习（DRL）的碰撞避免方法相结合，并使用我们的混合方法来处理不同密度的人群。我们的整体方法可以在密集环境中实现平滑和无碰撞的导航。我们已经评估了我们的方法在模拟和真正的差分驱动机器人在具有挑战性的室内场景的性能。我们强调了我们的方法在成功率（高达50%的增加），生物友好性（100%的增加）和在具有挑战性的情况下冻结率（> 80%的减少）方面的优势。
2020-03-11 cs.RO
Robust Policy Learning for Multi-UAV Collision Avoidance with Causal Feature Selection
College of Engineering, Shantou University（汕头大学工程学院）；School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；University of Electronic Science and Technology of China（电子科技大学）；International Cooperation Base of Evolutionary Intelligence and Robotics（进化智能与机器人国际合作基地）
针对深度强化学习的无人机避碰导航方法泛化性差的问题，提出可集成到策略网络的因果特征选择模块，过滤非因果因素以降低虚假关联影响，在未知场景下实现了更优的鲁棒避碰性能。
2024-07-15 cs.RO
RL-DWA Omnidirectional Motion Planning for Person Following in Domestic Assistance and Monitoring
Politecnico di Torino（都灵理工大学）
机器人助手正在成为支持人们日常生活的高科技解决方案。在家庭环境中跟随和协助用户需要灵活的移动性，以便在杂乱的空间中安全地移动。我们引入了一种新的方法来帮助和监控人员。我们的方法利用一个全向机器人平台来分离线速度和角速度的计算，并在国内环境中导航，而不会失去跟踪的辅助人员。虽然线速度由传统的动态窗口方法（DWA）本地规划器管理，但我们训练了深度强化学习（DRL）代理来预测优化的角速度命令并保持机器人朝向用户的方向。我们评估我们的导航系统在一个真正的全向平台在各种室内场景，展示了我们的解决方案相比，一个标准的差分转向以下的竞争优势。
2023-01-13 cs.AI cs.RO
Arena-Bench: A Benchmarking Suite for Obstacle Avoidance Approaches in Highly Dynamic Environments
Berlin Institute of Technology（柏林工业大学）
安全自主导航的能力，特别是在动态环境中，对移动机器人来说至关重要。近年来，DRL方法在动态避障方面表现出优越的性能。然而，这些基于学习的方法通常是在专门设计的仿真环境中开发的，并且很难与传统的规划方法进行测试。此外，这些方法到真正的机器人平台的集成和部署尚未完全解决。在本文中，我们提出了阿里纳板凳，一个基准套件训练，测试和评估导航规划在不同的机器人平台上的三维环境。它提供了设计和生成高度动态评估世界、场景和自主导航任务的工具，并完全集成到机器人操作系统中。为了展示我们的套件的功能，我们在我们的平台上训练了一个DRL代理，并将其与各种现有的基于模型和基于学习的导航方法进行了比较。最后，我们部署了真实机器人的方法，并证明了结果的可重复性。该代码可在github.com/ignc-research/arena-bench上公开获取。
2022-07-11 cs.RO cs.SY eess.SY
Language-Based Augmentation to Address Shortcut Learning in Object Goal Navigation
University of Twente（特温特大学）；TNO（荷兰应用科学研究组织）
针对目标导航中模拟器导致的捷径学习问题，提出基于语言的增强方法，利用VLM多模态特征空间在特征层面增强视觉表示，仅增加一层模型，将成功率下降从69%降至23%。
2024-02-07 cs.CV cs.RO
Trajectory Prediction for Robot Navigation using Flow-Guided Markov Neural Operator
Purdue University（普渡大学）
本文提出FlowMNO，一种光流集成的马尔可夫神经算子，将轨迹预测建模为仅依赖当前状态的马尔可夫过程，在ETH、UCY等基准上较LSTM、GAN、CNN等方法提升约86.46%，可无缝集成于机器人导航系统以改善拥挤区域导航能力。
2023-09-19 cs.RO
Socially Aware Robot Crowd Navigation via Online Uncertainty-Driven Risk Adaptation
Shenzhen Key Laboratory of Robotics Perception and Intelligence（机器人感知与智能深圳重点实验室）；Southern University of Science and Technology（南方科技大学）
针对人机共享拥挤环境中机器人导航兼顾效率、安全与社会感知的难题，提出含离线风险学习和在线自适应推理的LR-MPC算法，经实验验证其在成功率与社会感知性上优于基线方法。
2025-06-17 cs.RO
Multi-Robot Cooperative Navigation in Crowds: A Game-Theoretic Learning-Based Model Predictive Control Approach
University of Delaware（特拉华大学）；Cornell University（康奈尔大学）；Honda Research Institute USA, Inc.（美国本田研究院有限公司）
本文提出一种结合局部模型预测控制与社交长短期记忆的框架，通过将多机器人导航和人际交互建模为博弈并采用迭代最佳响应求解，实现拥挤环境下多机器人协同导航。
2023-10-10 cs.MA cs.RO
