An Automatic Ground Collision Avoidance System with Reinforcement Learning
本文提出一种基于人工智能的自动地面避障系统，旨在提升先进喷气式教练机的操作效能，通过有限观测空间内的避障设计提升安全性和操作能力。
2026-04-27 cs.LG cs.RO
Optimizing Collision Avoidance in Dense Airspace using Deep Reinforcement Learning
Stanford University（斯坦福大学）；Airbus UTM（空客UTM）
随着交通密度的增加，需要新的方法来确保空域保持安全和高效，以适应新的无人驾驶操作。本文探讨了无人驾驶自由飞行交通如何在密集的空域中运行。我们开发和分析了在密集空域中运行的飞机的自主防撞系统，传统的防撞系统失败。我们提出了一个度量的决策负担量化的防撞系统，以及度量的防撞系统对空域的影响。我们使用深度强化学习来计算现有防撞方法的修正，以解决密集空域的问题。结果表明，修正后的防撞系统可以在密集空域中比传统方法更有效地运行，同时保持高水平的安全性。
2019-12-20 cs.AI cs.LG cs.RO
Deep Reinforcement Learning Controller for 3D Path-following and Collision Avoidance by Autonomous Underwater Vehicles
Norwegian University of Science and Technology（挪威科技大学）；Oklahoma State University（俄克拉荷马州立大学）
控制理论为工程师提供了大量的工具来设计控制器，以操纵动态系统的闭环行为和稳定性。这些方法在很大程度上依赖于对控制物理系统的数学模型的理解。然而，在复杂的系统中，如自主水下航行器执行路径跟踪和避碰的双重目标，决策变得不平凡。我们提出了一个解决方案，使用最先进的深度强化学习（DRL）技术，开发自主智能体能够实现这一混合目标，而无需先验知识的目标或环境。我们的研究结果表明，DRL在路径跟踪和避免碰撞的可行性，以实现人类的自主车辆系统在极端障碍配置的决策。
2020-06-17 cs.LG cs.RO
Variational Autoencoders for exteroceptive perception in reinforcement learning-based collision avoidance
NTNU（挪威科技大学）
本文提出利用变分自编码器将高维测距传感器数据压缩为低维潜在编码，作为深度强化学习智能体的外部感知输入，以降低计算资源需求，并在随机仿真环境中验证了其在海上路径跟随与碰撞规避任务中的有效性。
2024-03-31 cs.LG cs.RO
Nearest-Neighbor-based Collision Avoidance for Quadrotors via Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
碰撞避免算法是许多无人机应用的核心兴趣。特别是，分散的方法可能是在集中式通信在计算上变得禁止的情况下实现强大的无人机群解决方案的关键。在这项工作中，我们从椋鸟群（Sturnus vulgaris）中汲取生物学灵感，并将其应用于端到端学习分散式避碰。更具体地说，我们提出了一个新的，可扩展的观察模型仿生最近邻信息约束，导致快速学习和良好的碰撞避免行为。通过提出一种通用的强化学习方法，我们获得了一种基于端到端学习的方法，将碰撞避免与任意任务（如包收集和编队更改）相集成。为了验证这种方法的通用性，我们成功地应用我们的方法，通过运动模型的中等复杂性，建模的势头，但允许直接应用到现实世界的四旋翼与标准的PID控制器。与之前的工作相比，我们发现，在我们足够丰富的运动模型中，最近邻信息确实足以学习有效的碰撞避免行为。我们学习的策略在模拟中进行测试，随后转移到现实世界的无人机上，以验证其在现实世界中的适用性。
2022-02-18 cs.AI cs.LG cs.RO
Smooth Trajectory Collision Avoidance through Deep Reinforcement Learning
Ohio University（俄亥俄大学）
避碰是视觉引导自主导航中的一项重要任务。基于深度强化学习（DRL）的解决方案越来越受欢迎。在这项工作中，我们提出了几种新的代理状态和奖励函数设计，以解决基于DRL的导航解决方案中的两个关键问题：1）训练的飞行轨迹的平滑性; 2）处理未知环境的模型泛化。在DRL框架下，我们的模型依赖于利润奖励和平滑约束，以确保无人机平稳飞行，同时大大减少碰撞的机会。所提出的平滑性奖励最小化了飞行轨迹的一阶和二阶导数的组合，这也可以驱动点均匀分布，从而导致稳定的飞行速度。为了提高智能体处理新的未知环境的能力，提出了两个实用的设置，以提高在不同场景中部署时的状态和奖励函数的不变性。实验证明了我们的整体设计和单个组件的有效性。
2022-10-12 cs.LG cs.RO
Reciprocal Collision Avoidance for General Nonlinear Agents using Reinforcement Learning
The Ohio State University（俄亥俄州立大学）；The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）
在分散的场景中，由于其他智能体的可用信息有限和复杂的动力学约束，为多个非线性智能体找到可行且无冲突的路径具有挑战性。本文提出了一种快速的多智能体碰撞避免算法，一般的非线性代理与连续的动作空间，其中每个代理只观察附近的代理的位置和速度。为了减少在线计算，我们首先分解的多智能体场景和解决两个代理碰撞避免问题，使用强化学习（RL）。当将训练的策略扩展到多智能体问题时，通过引入最优相互避碰（ORCA）作为线性约束来确保安全性，并且可以通过简单的凸优化来找到整体避碰动作。现有的大多数基于RL的多智能体碰撞避免算法依赖于对智能体速度的直接控制。在鲜明的对比，我们的方法是适用于一般的非线性代理。基于非线性自行车智能体模型的现实模拟进行了各种具有挑战性的情况下，表明所提出的方法在避免碰撞，拥塞和死锁与平滑的轨迹有竞争力的性能。
2020-03-03 cs.MA cs.RO cs.SY
SAFER: Safe Collision Avoidance using Focused and Efficient Trajectory Search with Reinforcement Learning
Apple Inc.（苹果公司）
本文提出SAFER避碰系统，结合强化学习、在线轨迹规划与自动紧急制动，通过学习修正控制动作来聚焦搜索无碰撞轨迹，在真实环境中实现了更安全、高效且平滑的机器人控制。
2023-06-28 cs.AI cs.RO
CATNIPS: Collision Avoidance Through Neural Implicit Probabilistic Scenes
Stanford University（斯坦福大学）；California Institute of Technology（加州理工学院）
本文提出CATNIPS方法，将NeRF变换为泊松点过程以量化碰撞不确定性，并结合PURR体素表示与机会约束轨迹优化，实现满足用户指定碰撞概率的安全机器人导航。
2024-07-03 cs.RO
Uncertainty-Aware Reinforcement Learning for Collision Avoidance
Berkeley AI Research (BAIR), University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；OpenAI
强化学习可以使自主机器人平台自动学习复杂的自适应行为。然而，强化学习方法的实际部署必须面对这样一个事实，即训练过程本身对机器人来说可能是不安全的。在本文中，我们考虑的移动机器人学习导航先验未知的环境，同时避免碰撞的具体情况。为了学习避免碰撞，机器人必须在训练时经历碰撞。然而，即使在训练期间，高速碰撞也可能损坏机器人。因此，一个成功的学习方法必须谨慎地进行，只经历低速碰撞，直到它获得信心。为此，我们提出了一个不确定性感知模型为基础的学习算法，估计碰撞的概率与统计估计的不确定性。通过制定一个依赖于不确定性的成本函数，我们表明该算法会自然选择在不熟悉的环境中谨慎前进，并在具有高置信度的环境中提高机器人的速度。我们的预测模型基于使用dropout的自举神经网络，使其能够处理来自高带宽传感器（如相机）的原始感官输入。我们的实验评估表明，我们的方法有效地减少了危险的碰撞，在训练时间的避障任务的模拟和现实世界的四旋翼，和现实世界的RC车。实验视频可以在https://sites.google.com/site/probcoll上找到。
2017-02-03 cs.LG cs.RO
Application of LLM Guided Reinforcement Learning in Formation Control with Collision Avoidance
School of Sino-German College of Intelligent Manufacturing, Shenzhen Technology University（智能制造中德学院）
本文提出一种由大语言模型引导的强化学习框架，通过在线动态调整奖励函数，使多智能体系统在动态环境中高效实现带避碰的编队控制，并在仿真与真实实验中验证其有效性。
2025-07-22 cs.AI cs.RO
Taming an autonomous surface vehicle for path following and collision avoidance using deep reinforcement learning
Norweigan University of Science and Technology（挪威科技大学）；SINTEF Digital（SINTEF数字研究所）；Oklahoma State University（俄克拉荷马州立大学）
在这篇文章中，我们探讨了近端策略优化的可行性，一个国家的最先进的深度强化学习算法的连续控制任务，对双目标问题的控制欠驱动自主水面车辆遵循先验已知的路径，同时避免碰撞与非移动障碍物的道路上。配备多个测距传感器用于障碍物检测的人工智能代理在基于OpenAI gym python工具包的具有挑战性的随机生成的模拟环境中进行训练和评估。值得注意的是，智能体可以实时了解自己的奖励函数，从而允许它动态地调整其指导策略。根据其策略，从激进的路径遵守到激进的障碍物规避，经过训练的代理实现了84%到100%的偶发成功率。
2019-12-18 cs.AI cs.LG cs.RO
Collision Avoidance in Pedestrian-Rich Environments with Deep Reinforcement Learning
National Institute of Standards and Technology（美国国家标准与技术研究院）；Colorado State University（科罗拉多州立大学）；University of Colorado（科罗拉多大学）；Massachusetts Institute of Technology（麻省理工学院）；Facebook Reality Labs（Facebook现实实验室）
避碰算法对于机器人在行人中安全高效地运行至关重要。这项工作提出使用深度强化（RL）学习作为框架，对与附近决策代理（如行人和其他机器人）的复杂交互和合作进行建模。现有的基于RL的作品假设代理属性的同质性，在短时间尺度上使用特定的运动模型，或者缺乏一个原则性的方法来处理大量的，可能不同数量的代理。因此，这项工作开发了一种算法，学习各种异构，非通信，动态代理之间的冲突避免，而不假设他们遵循任何特定的行为规则。它扩展了我们之前的工作，引入了一种使用长短期记忆（LSTM）的策略，使算法能够使用任意数量的其他代理的观察结果，而不是少量的固定数量的邻居。所提出的算法优于经典的碰撞避免算法，另一种基于深度RL的算法，并且比我们以前发布的基于学习的方法更好地扩展代理的数量（更少的碰撞，更短的目标时间）。对LSTM的分析提供了对附近代理的观察如何影响隐藏状态的见解，并量化了各种代理排序算法的性能影响。学到的政策推广到几个应用程序以外的培训方案：编队控制（安排成字母），演示的四个多旋翼的车队和一个完全自主的机器人车辆能够在行人中以人类步行速度行驶。
2021-01-25 cs.AI cs.RO
Deep Reinforcement Learning for Advanced Longitudinal Control and Collision Avoidance in High-Risk Driving Scenarios
College of Engineering, University of Maryland（马里兰大学工程学院）
针对现有高级驾驶辅助系统易忽视后车风险、难以应对高速密集车流中连环碰撞的问题，提出一种同时考虑前后车行为的深度强化学习纵向避撞算法，仿真验证其可有效预防含重型车辆在内的连环碰撞。
2025-02-21 cs.AI cs.LG cs.RO
Hamilton-Jacobi Reachability-Based Safe Reinforcement Learning for Emergency Collision Avoidance
Tsinghua University（清华大学）；Jilin University（吉林大学）
提出一种基于Hamilton-Jacobi可达性运动安全集的安全强化学习框架，通过离线数据近似安全集并嵌入约束马尔可夫决策过程，实现紧急避撞中的前瞻性安全监督与策略优化。
2026-06-16 cs.RO cs.SY eess.SY
Multiple Ships Cooperative Navigation and Collision Avoidance using Multi-agent Reinforcement Learning with Communication
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
针对多USV协同控制中的非平稳与部分可观测性难题，提出带通信的MADDPG算法，在gym环境的协同导航与避碰任务中性能优于传统单智能体算法，可通过通信协议共享信息实现更好协同。
2024-10-12 cs.RO cs.SY eess.SY
SACPlanner: Real-World Collision Avoidance with a Soft Actor Critic Local Planner and Polar State Representations
Åbo Akademi University（奥博学术大学）；Nokia Bell Labs（诺基亚贝尔实验室）
我们研究了基于强化学习（RL）的ROS局部规划器的训练性能，以及它们在现实世界机器人上产生的轨迹。我们表明，最近的增强软演员评论（SAC）算法，如RAD和DrQ实现几乎完美的训练后，只有10000集。我们还观察到，在现实世界的机器人，由此产生的SACPlanner是更积极的障碍比传统的ROS本地规划，如DWA。
2023-03-21 cs.RO
SRL-ORCA: A Socially Aware Multi-Agent Mapless Navigation Algorithm In Complex Dynamic Scenes
University of Science and Technology of China（中国科学技术大学）
提出SRL-ORCA，一种结合ORCA安全保证与社会交通规范的多智能体无地图导航算法，在复杂动态场景中提升导航成功率与路径质量。
2023-06-18 cs.RO
Multi-level decision framework collision avoidance algorithm in emergency scenarios
State Key Laboratory of Automotive Simulation and Control, Jilin University（吉林大学汽车仿真与控制国家重点实验室）；School of Engineering, University of Birmingham（伯明翰大学工程学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
针对紧急动态避障问题，本文提出融合安全距离模型、紧急转向与制动的多级决策框架，并通过多约束规划提升复杂交通场景下的避撞安全性。
2023-04-21 cs.RO
COLREG-Compliant Collision Avoidance for Unmanned Surface Vehicle using Deep Reinforcement Learning
Norwegian University of Science and Technology（挪威科技大学）；Oklahoma State University（俄克拉荷马州立大学）
路径跟踪和碰撞避免，无论是无人水面船只还是其他自主车辆，都是机器人技术中的两个基本导航问题。几十年来，它们一直受到学术研究的影响，导致了大量的拟议方法。然而，它们大多被视为单独的问题，并且通常依赖于非线性第一原理模型，其参数只能通过实验确定。近年来，深度强化学习（DRL）的兴起提出了一种替代方法：通过基于试错的方法从头开始对最佳指导策略进行端到端学习。在这篇文章中，我们探讨了潜在的近端策略优化（PPO），DRL算法与连续控制任务的最先进的性能，当应用到双目标问题的控制欠驱动自主水面车辆在COLREG兼容的方式，使其遵循一个先验已知的期望路径，同时避免与沿途其他船只碰撞。基于高保真度的海拔和AIS跟踪数据从特隆赫姆峡湾，入口的挪威海，我们评估训练有素的代理人的表现在具有挑战性的，动态的现实世界的情况下，代理的最终成功取决于其能力导航非均匀的海洋地形，同时处理具有挑战性的，但现实的船舶遭遇。
2020-06-16 cs.AI cs.LG cs.RO
Scalable Task-Driven Robotic Swarm Control via Collision Avoidance and Learning Mean-Field Control
Technische Universität Darmstadt（达姆施塔特工业大学）
近年来，强化学习及其多智能体模拟在解决各种复杂控制问题方面取得了巨大的成功。然而，多智能体强化学习在其理论分析和算法的经验设计方面仍然具有挑战性，特别是对于大量的具体机器人代理，其中确定的工具链仍然是积极研究的一部分。我们使用新兴的国家的最先进的平均场控制技术，以转换成更经典的单代理控制的分布多代理群体控制。这允许从单智能体强化学习的进步中获利，代价是假设智能体之间的弱交互。然而，平均场模型是违反了真实系统的本质体现，物理碰撞代理。因此，我们结合避免碰撞和学习的平均场控制到一个统一的框架，可追溯地设计智能机器人群体行为。在理论方面，我们提供了新的近似保证一般的平均场控制在连续空间和避免碰撞。在实践方面，我们表明，我们的方法优于多智能体强化学习，并允许分散的开环应用，同时避免碰撞，无论是在模拟和真实的无人机群。总的来说，我们提出了一个框架，设计的群体行为，这是数学上有充分的依据和实际有用的，否则难以解决的群体问题的解决方案。
2023-02-09 cs.AI cs.LG cs.RO
Avoidance of an unexpected obstacle without reinforcement learning: Why not using advanced control-theoretic tools?
CRAN (CNRS, UMR 7039)), Université de Lorraine（CRAN（CNRS，UMR 7039），法国洛林大学）；LIX (CNRS, UMR 7161), École polytechnique（LIX（CNRS，UMR 7161），巴黎高等师范学院）；LJLL (CNRS, UMR 7598), Sorbonne Université（LJLL（CNRS，UMR 7598），索邦大学）；AL.I.E.N., 7 rue Maurice Barrès, 54330 Vézelise, France（AL.I.E.N., 法国韦泽利斯）
针对强化学习规避意外障碍物需大量试错的问题，研究基于Dubins' car模型，采用结合HEOL反馈的平坦性控制与无模型预测控制方法，实现了良好的避障效果与鲁棒性，且计算负担低。
2025-09-03 cs.RO cs.SY eess.SY
Optimizing Mission Planning for Multi-Debris Rendezvous Using Reinforcement Learning with Refueling and Adaptive Collision Avoidance
DLR Lampoldshausen（德国航空航天中心兰波尔茨豪森研究所）
本研究提出基于强化学习的框架，用于优化多碎片清除任务的使命规划，通过自适应碰撞避让和高效任务规划提高任务效率和安全性。
2026-02-04 cs.AI cs.LG cs.RO
Safe Bimanual Teleoperation with Language-Guided Collision Avoidance
INRIA, Université de Lorraine, CNRS（INRIA、洛林大学、法国国家科学研究中心）
本文提出结合沉浸式VR控制与语音激活避碰的安全双手遥操作框架，通过语音指令构建三维障碍物网格并集成到全身控制器，在杂乱环境中显著提升操作安全性且不降低任务效率。
2025-07-07 cs.RO
Spacecraft Autonomous Decision-Planning for Collision Avoidance: a Reinforcement Learning Approach
CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院）；Laboratoire Génie Industriel, CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院工业工程实验室）
本文针对日益拥挤的空间环境，提出基于部分可观测马尔可夫决策过程和强化学习的航天器自主避撞决策方法，使航天器无需人工干预即可学习随机策略并执行精确避撞机动，从而实现更快响应和高度分散化操作。
2023-10-29 cs.AI cs.CV cs.RO
Robust Policy Learning for Multi-UAV Collision Avoidance with Causal Feature Selection
College of Engineering, Shantou University（汕头大学工程学院）；School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；University of Electronic Science and Technology of China（电子科技大学）；International Cooperation Base of Evolutionary Intelligence and Robotics（进化智能与机器人国际合作基地）
针对深度强化学习的无人机避碰导航方法泛化性差的问题，提出可集成到策略网络的因果特征选择模块，过滤非因果因素以降低虚假关联影响，在未知场景下实现了更优的鲁棒避碰性能。
2024-07-15 cs.RO
Real Time Collision Avoidance with GPU-Computed Distance Maps
University of Bologna（博洛尼亚大学）
提出基于 GPU 三维距离变换与体素地图的实时运动学控制框架，使 Tiago 机器人在末端位姿跟踪中统一规避外部障碍和自碰撞。
2024-07-02 cs.RO
Safe Obstacle-Free Guidance of Space Manipulators in Debris Removal Missions via Deep Reinforcement Learning
Embodied Learning and Intelligence for eXploration and Innovative soft Robotics (ELIXIR) Lab, Toronto Metropolitan University, Toronto, ON, Canada（体现学习与智能探索与创新软机器人（ELIXIR）实验室，多伦多 Metropolitan 大学，多伦多，ON，加拿大）
本研究提出基于TD3和课程多评论家网络的无模型轨迹规划器，实现空间机械臂在碎片清除中的安全无碰撞捕获，并在七自由度KUKA机械臂仿真中验证了有效性。
2025-10-08 cs.RO
Collision Avoidance for Multiple UAVs in Unknown Scenarios with Causal Representation Disentanglement
College of Engineering, Shantou University（汕头大学工程学院）；School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；University of Electronic Science and Technology of China（电子科技大学）；International Cooperation Base of Evolutionary Intelligence and Robotics（进化智能与机器人国际合作基地）
针对现有深度强化学习方法在未知多无人机避碰场景中因非因果视觉因素干扰导致性能下降的问题，提出因果表征解耦方法，仅保留因果因素用于策略学习，有效提升模型泛化能力，在未知场景避碰效果显著优于现有最优算法。
2024-07-15 cs.RO
How to Brake? Ethical Emergency Braking with Deep Reinforcement Learning
Department of Electrical and Information Technology (EIT), Lund University（电气与信息学院（EIT）、卢勒恩大学）
本文提出一种结合深度强化学习与解析方法的混合算法，用于在多车辆场景中实现伦理紧急制动，以提高安全性和减少伤害。
2025-12-11 cs.AI cs.RO
PathRL: An End-to-End Path Generation Method for Collision Avoidance via Deep Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对现有DRL导航方法直接输出低级控制导致轨迹不平滑的问题，提出PathRL方法，通过动作空间离散化和定制状态表示直接生成导航路径，在仿真与真实环境中实现了更高成功率与更平滑的运动。
2023-10-20 cs.AI cs.RO
Collision Avoidance Robotics Via Meta-Learning (CARML)
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
提出了一种基于模型不可知元学习的多目标强化学习方法。我们使用的环境包括一辆配备了LIDAR传感器的2D车辆。环境的目标是到达一些预定的目标位置，但也有效地避免任何障碍物，它可能会发现沿其路径。我们还比较了这种方法与基线TD3解决方案，试图解决同样的问题。
2020-07-16 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning Framework towards Multi-agent Navigation
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出了一种面向多智能体环境的导航算法。该算法被表示为包含隐马尔可夫模型（HMM）和深度强化学习（DRL）结构的分层框架。为了简化，我们称我们的方法层次导航强化网络（HNRN）。在高层体系结构中，我们训练一个隐马尔可夫模型来评估智能体的感知，从而得到一个分数.根据该得分，将选择自适应控制动作。在低层结构中，引入了两个子系统，一个是差分目标驱动系统，用于航向目标;另一个是防撞DRL系统，用于躲避动态障碍物。这种分层结构的优点是将目标驱动和避碰任务解耦，从而获得更快、更稳定的模型。实验表明，该算法比传统的速度障碍（VO）算法和混合DRL方法具有更高的学习效率和成功率。
2018-07-17 cs.MA cs.RO
Model-Reference Reinforcement Learning for Collision-Free Tracking Control of Autonomous Surface Vehicles
Delft University of Technology（代尔夫特理工大学）
提出了一种新的模型参考强化学习算法，用于不确定自主水面车辆的智能避碰跟踪控制。该控制算法结合了传统的控制方法与强化学习，以提高控制精度和智能。在所提出的控制设计中，标称系统被认为是使用传统的控制方法的基线跟踪控制器的设计。标称系统还定义了在无障碍环境中的不确定自主表面车辆的期望行为。得益于强化学习，整体跟踪控制器能够补偿模型不确定性，并在有障碍物的环境中同时实现碰撞避免。与传统的深度强化学习方法相比，我们提出的基于学习的控制可以提供稳定性保证和更好的样本效率。我们展示了新算法的性能，使用自主表面车辆的例子。
2020-08-17 cs.LG cs.RO cs.SY
Collision Avoidance and Navigation for a Quadrotor Swarm Using End-to-end Deep Reinforcement Learning
University of Southern California（南加州大学）；Amazon（亚马逊公司）
本文提出端到端深度强化学习方法，结合课程训练、碰撞片段重放和注意力机制，实现四旋翼集群在障碍环境中的避障导航，并首次实现零样本迁移到真实无人机。
2024-05-06 cs.AI cs.MA cs.RO
DroneARchery: Human-Drone Interaction through Augmented Reality with Haptic Feedback and Multi-UAV Collision Avoidance Driven by Deep Reinforcement Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）
提出了一种基于RL的群体行为驱动的增强现实（AR）人机交互的新概念，以实现对无人机群体编队的直观和沉浸式控制。我们开发的DroneARchery系统允许用户快速部署一群无人机，生成模拟射箭的飞行路径。触觉接口LinkGlide将弓弦张力的触觉刺激传递到前臂，以提高瞄准精度。释放的无人机群动态地避免彼此之间的碰撞，无人机跟随用户，以及基于深度强化学习的行为控制的外部障碍物。开发的概念在与人类的场景中进行了测试，其中用户使用真实的无人机从虚拟弓射击以击中目标。人类操作员在AR中观察无人机的弹道轨迹，并通过触觉显示实现弓弦张力的逼真和高度可识别的体验。实验结果表明，该系统通过应用AR技术和传递拉力的触觉反馈，使轨迹预测精度提高了63.3%。DroneARchery用户在控制无人机时强调了自然性（5分制中的4.3分）和增加的信心（5分制中的4.7分）。我们设计了触觉模式，以呈现触觉显示的四个滑动距离（张力）和三个施加的力水平（刚度）。用户表现出区分触觉模式产生的触觉显示代表不同的弓弦张力（平均识别率为72.8%）和刚度（平均识别率为94.2%）。该研究的新颖之处在于开发了一种基于AR的无人机控制方法，不需要操作员的特殊技能和培训。
2022-10-14 cs.HC cs.RO
A Review of Scene Representations for Robot Manipulators
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
机器人要想有智慧地行动，就需要感知周围的世界，越来越多的机器人通过传感器读数来构建对世界的内部表征。然后，该表示可以用于通知下游任务，例如操纵、碰撞避免或人机交互。在实践中，场景表示根据机器人的类型、传感模态和机器人被设计来执行的任务而变化很大。这篇评论概述了用于机器人操纵器（机器人手臂）的场景表示。我们主要关注的是从现实世界的感知构建的表示，并用于通知一些下游机器人任务。
2022-12-22 cs.CV cs.RO
A drl based distributed formation control scheme with stream based collision avoidance
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
编队和避碰能力是多智能体系统的基本要求。传统的方法通常需要一个中央控制器和全局信息来实现协作，这在未知环境中是不切实际的。本文提出了一种基于深度强化学习（DRL）的自主车辆分布式编队控制方案。采用改进的基于流的避障方法对最优轨迹进行平滑，并利用激光雷达和天线阵列等机载传感器获取局部相对距离和角度信息。该方案获得了一个可扩展的分布式控制策略，联合优化编队跟踪误差和平均碰撞率与本地观测。仿真结果表明，我们的方法优于其他两个国家的最先进的算法保持编队和避碰。
2021-09-05 cs.RO cs.SY eess.SY
Egocentric Tactile and Proximity Sensors as Observation Priors for Humanoid Collision Avoidance
University of Colorado Boulder（科罗拉多大学波得尔分校）
本文提出基于强化学习的双足机器人全身避障框架，通过躲避球任务验证传感器属性对避障行为的影响，发现接近传感器在传感范围充足时可替代显式物体定位，稀疏非定向信号在样本效率上优于密集定向信号。
2026-04-28 cs.LG cs.RO
Reinforcement Learning-Enhanced Control Barrier Functions for Robot Manipulators
Queen’s University Belfast（贝尔法斯特女王大学）
在本文中，我们提出了一个控制障碍函数（CBF）的实现，使用二次规划（QP）制定，提供避障的机器人机械臂系统。CBF是在过去十年中出现和发展的一种控制技术，并且在文献中对其数学基础、集合不变性的证明以及各种安全关键控制系统的潜在应用进行了广泛的探讨。在这项工作中，我们将着眼于CBF的机器人机械手避障的设计，讨论的CBF参数的选择，并提出了一个强化学习（RL）计划，以协助寻找参数值，提供最有效的轨迹，成功地避免不同大小的障碍物。然后，我们创建一个数据集，用于训练的神经网络（NN）模型，可以使用的控制方案，使系统能够有效地适应不同的障碍物的情况下，在一系列的方案。基于Matlab/Simulink的计算机模拟验证了该算法的有效性。
2022-11-21 cs.RO cs.SY eess.SY
Safe Reinforcement Learning with Model Uncertainty Estimates
Massachusetts Institute of Technology（麻省理工学院）
许多当前的自主系统在设计上都非常依赖于深度神经网络（DNN）的黑盒预测。然而，DNN往往对未知数据的预测过于自信，并且可能对远离分布的测试数据给出不可预测的结果。对这种分布变化具有鲁棒性的预测对于安全关键型应用（例如行人周围的碰撞避免）的重要性是显而易见的。模型不确定性的度量可以用来识别看不见的数据，但最先进的提取方法，如贝叶斯神经网络，大多数是难以计算的。本文使用MC-Dropout和Bootstrapping给出计算上易于处理和可并行化的不确定性估计。这些方法嵌入到安全强化学习框架中，以形成行人周围的不确定性感知导航。其结果是一个防撞策略，知道它不知道什么，并谨慎地避免行人表现出看不见的行为。该策略在模拟中被证明对新的观测结果更鲁棒，并且比不确定性未知的基线采取更安全的行动。
2019-03-01 cs.AI cs.LG cs.RO
Deep-Learned Collision Avoidance Policy for Distributed Multi-Agent Navigation
Dorabot Inc.（Dorabot公司）；City University of Hong Kong（香港城市大学）；Fuzhou University（福州大学）
对传感器噪声不敏感的高速、低延迟避障对于使多个分散式机器人在混乱和动态环境中可靠地运行至关重要。虽然其他分布式多智能体避碰系统存在，这些系统需要在线几何优化繁琐的参数调整和完美的传感是必要的。我们提出了一种新的端到端的框架，以产生反应式避碰策略，有效的分布式多智能体导航。我们的方法制定了代理的导航策略作为一个深神经网络映射从观察到的噪声传感器测量代理的转向命令的运动速度。我们训练网络上的大量帧的防撞数据收集重复运行多代理模拟器不同的参数设置。我们在一组具有噪声测量的模拟和真实场景中验证了学习的深度神经网络策略，并证明了我们的方法能够生成对不完美感测不敏感的鲁棒导航策略，并且在所有情况下都能可靠地工作。我们还表明，我们的方法可以很好地推广到我们的训练数据中没有出现的场景，包括静态障碍物和不同大小的代理的场景。有关视频，请访问https://sites.google.com/view/deepmaca。
2017-07-06 cs.AI cs.CV cs.RO
SELFI: Autonomous Self-Improvement with Reinforcement Learning for Social Navigation
University of California Berkeley（加州大学伯克利分校）；Toyota Motor North America（丰田北美汽车公司）
针对机器人社交导航的自主提升需求，提出融合离线基于模型学习与在线无模型强化学习的SELFI方法，可高效微调预训练策略，在真实环境中提升避障与社交合规行为表现，减少人工干预。
2024-10-05 cs.CV cs.LG cs.RO
Distributed Multi-Robot Obstacle Avoidance via Logarithmic Map-based Deep Reinforcement Learning
Zhejiang University（浙江大学）；NetEase（网易）
在拥挤和狭窄的场景中为多个机器人开发安全，稳定和高效的避障策略具有挑战性。大多数现有的研究要么使用集中控制，要么需要与其他机器人进行通信。在本文中，我们提出了一种新的基于对数地图的深度强化学习方法，用于复杂和无通信的多机器人场景中的避障。特别是，我们的方法将激光信息转换为对数映射。作为提高训练速度和泛化性能的一步，我们的策略将在两个专门设计的多机器人场景中进行训练。与其他方法相比，对数地图能更准确地表示障碍物，提高避障成功率。最后，我们评估我们的方法在各种模拟和现实世界的情况下。实验结果表明，该方法在复杂的多机器人场景和行人场景中为机器人提供了一种更稳定、更有效的导航解决方案。有关视频，请访问https://youtu.be/r0EsUXe6MZE。
2022-09-14 cs.RO
A Learning Framework For Cooperative Collision Avoidance of UAV Swarms Leveraging Domain Knowledge
本文提出一种基于领域知识驱动奖励的多智能体强化学习框架，通过将障碍物建模为二维场极大值并近似等高线来实现无人机集群的协同避碰，支持大规模集群训练并在复杂环境中表现出色。
2025-07-15 cs.LG cs.MA cs.RO
Crowd-Aware Robot Navigation for Pedestrians with Multiple Collision Avoidance Strategies via Map-based Deep Reinforcement Learning
University of Science and Technology of China (USTC)（中国科学技术大学）
对于移动机器人来说，在人群中导航是具有挑战性的。现有的方法通常假设行人遵循预定义的避碰策略，如社会力模型（SFM）或最佳相互避碰（ORCA）。然而，它们的性能通常需要进一步改善的实际应用中，行人遵循多种不同的防撞策略。在本文中，我们提出了一种基于地图的深度强化学习方法，用于具有各种行人的人群感知机器人导航。我们使用传感器地图来表示机器人周围的环境信息，包括其形状和可观察到的障碍物外观。我们还介绍了行人地图，指定机器人周围的行人的运动。通过应用这两个地图作为输入的神经网络，我们表明，导航政策可以训练，以更好地与行人以下不同的防撞策略。我们评估我们的方法在多个场景下，在模拟器和实际的机器人。结果表明，我们的方法允许机器人成功地与各种行人进行交互，并在成功率方面优于比较方法。
2021-09-06 cs.RO
Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm
我们开发了一个新的框架，多智能体避碰问题。该框架结合了传统的路径查找算法和强化学习。在我们的方法中，智能体通过在每个时间步通过强化学习训练的深度神经网络来学习是被导航还是采取简单的行动来避开他们的伙伴。该框架使代理能够在抽象的新场景中到达终点。在我们的实验中，我们使用Unity3D和Tensorflow为我们的场景构建模型和环境。我们分析结果，并修改参数，以接近我们的代理行为良好的战略。我们的策略可以在不同的环境下，在不同的情况下，特别是当规模较大。
2020-12-05 cs.LG cs.MA cs.RO
Dynamic Obstacle Avoidance through Uncertainty-Based Adaptive Planning with Diffusion
Purdue University（普渡大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
提出基于不确定性的自适应生成规划方法，通过动态调整扩散模型的重新规划频率，在保持避障性能的同时减少计算开销，实现更安全的动态环境导航。
2024-09-25 cs.AI cs.LG cs.RO
3D Path Planning and Obstacle Avoidance Algorithms for Obstacle-Overcoming Robots
Inner Mongolia University of Technology（内蒙古工业大学）；Yanshan University（燕山大学）
本文介绍了一种多模式运动规划（MMP）算法，结合三维（3-D）路径规划和DWA避障算法。该算法的目的是规划的路径和运动的越障机器人在复杂的非结构化场景。提出了一种新的A-star算法，结合非结构化场景的特点，并将其转换为贪婪最佳优先策略算法。同时，将路径规划算法与DWA算法相结合，使机器人在沿全局规划路径运动的过程中能够进行局部动态避障，并将全局路径规划算法与局部避障算法相结合，使机器人在避障和越障后能够对路径进行修正。在具有多种复杂环境的工厂中进行的仿真实验验证了算法的可行性和鲁棒性。该算法能在充分考虑场景和运动障碍物特点的前提下，快速生成合理的越障机器人三维路径，并进行可靠的局部避障。
2022-09-02 cs.RO
Towards Monocular Vision based Obstacle Avoidance through Deep Reinforcement Learning
University of Oxford（牛津大学）
避障是在现实世界中运行并与现实世界互动的自主机器人的基本要求。当感知仅限于单目视觉时，由于缺乏3D信息，避免碰撞变得更具挑战性。传统的避障路径规划器需要调整许多参数，并且不具有直接受益于大型数据集和连续使用的能力。本文提出了一种基于决斗结构的深度双Q网络（D3QN），用于避障，仅使用单目RGB视觉。基于决斗和双Q机制，D3QN可以有效地学习如何避免模拟器中的障碍物，即使从RGB图像预测的深度信息非常嘈杂。大量的实验表明，与普通的深度Q网络相比，D3QN能够实现两倍的学习加速，并且仅在虚拟环境中训练的模型可以直接转移到真实的机器人上，从而很好地推广到具有以前看不见的动态对象的各种新环境。
2017-06-29 cs.RO
Multi-UAV Speed Control with Collision Avoidance and Handover-aware Cell Association: DRL with Action Branching
York University（约克大学）；École de Technologie Supérieure (ÉTS), University of Quebec（魁北克大学高等技术学院）
针对3D空中高速公路多无人机速度与小区关联优化问题，提出带动作分支的DRL架构及BDQ、Dueling DDQN模型，仿真较基准提升18.32%。
2024-01-22 cs.LG cs.RO cs.SY
E2DRL: End-to-End Differentiable Reinforcement Learning for 3D Obstacle Avoidance in Quadruped Robots
National University of Singapore（新加坡国立大学）
本研究提出E2DRL算法，通过软可微障碍物交互公式解决梯度破坏问题，结合SAPO、DAgger等技术实现四足机器人3D避障，在仿真中性能优于PPO等方法并完成了仿真到真实场景的验证。
2026-10-15 cs.RO
Realtime Collision Avoidance for Mobile Robots in Dense Crowds using Implicit Multi-sensor Fusion and Deep Reinforcement Learning
我们提出了一种新的基于学习的碰撞避免算法，CrowdSteer，移动机器人在密集和拥挤的环境中运行。我们的方法是端到端的，并使用多个感知传感器，如2-D激光雷达以及深度相机来感知周围的动态代理并计算无碰撞速度。我们的训练方法是基于模拟到真实的范例，并使用高保真度的行人和环境的3-D模拟训练使用近端策略优化（PPO）的政策。我们表明，我们的学习导航模型是直接转移到以前看不见的虚拟和密集的现实世界的环境。我们已经将我们的算法与差分驱动机器人和评估其性能在狭窄的场景，如密集的人群，狭窄的走廊，T型路口，L型路口等，在实践中，我们的方法可以执行实时避碰，并在这样的复杂场景中生成平滑的轨迹。我们还比较了性能与以前的方法的基础上的指标，如轨迹长度，平均时间到目标，成功率和平滑度，并观察到相当大的改善。
2020-04-28 cs.RO
Deep Reinforcement Learning based Local Planner for UAV Obstacle Avoidance using Demonstration Data
Northwestern Polytechnical University（西北工业大学）；Cranfield University（克兰菲尔德大学）；City, University of London（伦敦大学城市学院）
针对未知环境下无人机导航问题，提出了一种深度强化学习（DRL）方法。然而，DRL算法受到数据效率问题的限制，因为它们通常需要大量的数据才能达到合理的性能。为了加快DRL训练过程，我们开发了一种新的学习框架，它结合了模仿学习和强化学习，并建立在双延迟DDPG（TD3）算法。我们新引入的策略和Q值网络都是在仿真阶段通过专家演示学习的。为了解决从模仿到强化学习的分布失配问题，在开始与环境交互时，采用TD误差和衰减模仿损失来更新预训练网络。所提出的算法的性能证明了具有挑战性的三维无人机导航问题，使用深度相机和素描在各种仿真环境。
2020-08-06 cs.RO
