Double Critic Deep Reinforcement Learning for Mapless 3D Navigation of Unmanned Aerial Vehicles
Technological University of Uruguay（乌拉圭理工大学）；Federal University of Rio Grande（里奥格兰德联邦大学）；Federal University of Santa Maria（圣玛丽亚联邦大学）
提出了一种基于深度强化学习的无人机三维无地图导航系统。而不是使用基于图像的传感方法，我们提出了一个简单的学习系统，只使用一些稀疏的距离传感器的范围数据训练学习代理。我们的方法基于两个最先进的双批评深度RL模型：双延迟深度确定性策略梯度（TD 3）和软演员批评（SAC）。我们表明，我们的两种方法管理优于基于深度确定性策略梯度（DDPG）技术和BUG2算法的方法。此外，我们基于递归神经网络（RNN）的新Deep-RL结构优于用于执行移动机器人无地图导航的当前结构。总的来说，我们得出结论，基于双批评与递归神经网络（RNN）的深度RL方法更适合于执行无人机的无地图导航和避障。
2021-12-27 cs.RO
Speed Optimization Algorithm based on Deterministic Markov Decision Process for Automated Highway Merge
Innovative Research Excellence, Honda R&D Co., Ltd.（本田研发有限公司创新研究卓越中心）
本研究针对自动驾驶高速公路汇入的速度规划难题，将其建模为确定性马尔可夫决策过程，以加加速度为动作推导最优序列，同时优化实时性，经仿真和实车测试验证了方案的有效性。
2025-03-19 cs.RO
Trajectory Tracking Using Frenet Coordinates with Deep Deterministic Policy Gradient
Peking University（北京大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Sherbrooke（舍布鲁克大学）
本文提出结合Frenet坐标系与DDPG算法的轨迹跟踪控制方法，通过坐标转换更准确描述车辆相对道路中心线的偏差，实验证明其在复杂环境中能实现高精度稳定路径跟踪，展现了在自动驾驶中的应用潜力。
2024-11-21 cs.RO
Control and Coordination of a SWARM of Unmanned Surface Vehicles using Deep Reinforcement Learning in ROS
Vellore Institute of Technology（韦洛尔理工学院）
本文针对无人水面艇集群协调控制问题，提出基于ROS和Gazebo的自主通信模型，并采用MA-DDPG多智能体深度强化学习方法实现分散式实时目标跟踪，提升集群整体性能与稳定性。
2023-04-17 cs.RO
On Determinism of Game Engines used for Simulation-based Autonomous Vehicle Verification
University of Bristol（布里斯托尔大学）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）；University of the West of England（西英格兰大学）
游戏引擎越来越多地被自动驾驶汽车（AV）社区用作仿真平台，以开发车辆控制系统和测试环境。基于仿真的开发和验证的一个关键要求是确定性，因为在给定相同的初始条件和事件历史的情况下，确定性过程将总是产生相同的输出。因此，在确定性的仿真环境中，测试是可重复的，并产生值得信赖的和直接调试的仿真结果。然而，游戏引擎很少是确定性的。本文回顾并确定了游戏引擎中的非确定性行为的潜在原因。使用CARLA的案例研究，一个开源的自动驾驶仿真环境提供动力的虚幻引擎，突出其固有的缺点，提供足够的精度在实验结果。探索软件和硬件的不同配置和利用，以确定仿真精度足够低的操作域，即对于开发和测试工作而言，重复执行之间的差异变得可以忽略不计。最后，提出了一种一般性的方法，可以用来找到任何给定的系统配置的游戏引擎模拟允许的方差域。
2022-02-09 cs.PF cs.RO cs.SY
A Twin Delayed Deep Deterministic Policy Gradient Algorithm for Autonomous Ground Vehicle Navigation via Digital Twin Perception Awareness
The School of Electronics, Electrical Engineering and Computer Science, Queens University, Belfast（贝尔法斯特女王大学电子、电气工程与计算机科学学院）
本文提出一种基于数字孪生感知感知的TD3算法，无需预先创建虚拟环境状态即可实现UGV避障与路径规划，有效缩小仿真到现实的迁移差距。
2024-03-22 cs.RO cs.SY eess.SY
Deep Reinforcement Learning for Mapless Navigation of a Hybrid Aerial Underwater Vehicle with Medium Transition
Universidade Federal de Santa Maria - UFSM（圣玛丽亚联邦大学）
自从将深度Q学习应用于Atari类游戏中的连续动作域以来，用于运动控制的深度强化学习（Deep-RL）技术得到了质的提升。如今，现代Deep-RL可以成功应用于解决多种类型车辆的各种复杂决策任务。基于这一背景，在本文中，我们提出使用Deep-RL为混合无人机水下航行器（HUAUVs）执行自主无地图导航，这些机器人可以在空气或水介质中操作。我们开发了两种方法，一种是确定性的，另一种是随机的。我们的系统使用车辆的相对定位和简单的稀疏范围数据来训练网络。我们比较了我们的方法与传统的几何跟踪控制器的无地图导航。基于实验结果，我们可以得出结论，基于Deep-RL的方法可以成功地用于HUAUV的无地图导航和避障。我们的车辆完成了两种情况下的导航，能够通过这两种环境中实现所需的目标，甚至优于基于几何的跟踪控制器的避障能力。
2021-03-28 cs.RO
Combining Deep Reinforcement Learning and Safety Based Control for Autonomous Driving
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）
随着最先进的深度强化学习的发展，我们可以有效地解决连续控制问题。但用于连续控制的深度强化学习方法是基于历史数据的，这会在不熟悉的场景中做出不可预测的决策。结合深度强化学习和基于安全的控制可以获得良好的自动驾驶和防撞性能。在这篇文章中，我们使用深度确定性策略梯度算法来实现周围没有车辆的自动驾驶。车辆可以在稳定和熟悉的环境中学习驾驶策略，高效可靠。然后利用人工势场法设计了周围车辆的避碰算法。还考虑了路径跟踪方法。深度强化学习和基于安全的控制的组合在大多数情况下表现良好。
2016-12-01 cs.RO
Multi-Task Lane-Free Driving Strategy for Connected and Automated Vehicles: A Multi-Agent Deep Reinforcement Learning Approach
Shiraz University（设拉子大学）；Technical University of Munich（慕尼黑工业大学）
针对无车道交通环境下自动驾驶决策难的问题，提出基于竞争性多智能体深度确定性策略梯度的CAVs多任务驾驶策略，结合车辆间作用力与多目标奖励，经仿真验证可提升自动驾驶的安全性与效率。
2024-06-20 cs.RO
Robust Deterministic Policy Gradient for Disturbance Attenuation and Its Application to Quadrotor Control
School of Electrical Engineering, Korea Advanced Institute of Science（电气工程学院，韩国先进科学研究院）
本文提出鲁棒确定性策略梯度算法，通过将H∞控制问题转化为动态博弈，结合深度强化学习提升四旋翼在扰动下的鲁棒性和跟踪精度。
2025-12-03 cs.AI cs.RO
A Control Architecture for Provably-Correct Autonomous Driving
Boston University（波士顿大学）；Lehigh University（理海大学）
本文提出了一种新的两级控制架构的完全自主车辆在一个确定性的环境中，它可以处理交通规则的规范和低层次的车辆控制与实时性能。在顶层，我们使用一个简单的表示环境和车辆动力学制定一个线性模型预测控制（MPC）的问题。我们使用信号时序逻辑（STL）公式来描述交通规则和安全约束，并将其映射为优化问题中的混合整数线性约束。在顶层获得的解决方案被用于在底层，以确定最佳的控制命令，以满足更详细的框架中的约束。在底层，基于规范的运行时监控技术，连同环境和车辆动力学的详细表示，用于补偿MPC中使用的简单模型和真正的复杂模型之间的不匹配。我们获得了显着的改进，在文献中现有的方法在这个意义上的运行时性能，我们验证了我们提出的控制方法在模拟器CARLA的有效性。
2021-05-06 cs.RO
Safe, Deterministic Trajectory Planning for Unstructured and Partially Occluded Environments
DENSO Automotive Deutschland GmbH（电装德国汽车有限公司）；Carl von Ossietzky University（卡尔·冯·奥西茨基大学）
确保自动驾驶汽车在不受管制的交通区域的安全行为对该行业构成了复杂的挑战。这是一个开放的问题，提供可扩展的和可认证的解决方案，这一挑战。我们推导出一个基于模型预测控制的轨迹规划器，它与基于元胞自动机的行人安全监测系统进行互操作。结合规划监控系统的例子，一个狭窄的室内停车场环境。该系统具有确定性行为，减轻了黑盒的不可预测风险，并提供了完全的可认证性。通过使用基本的和保守的行人预测模型，监测器能够确定一个安全的可驾驶区域中的部分闭塞和非结构化的停车环境。该信息被馈送到轨迹规划器，该轨迹规划器通过约束优化来确保车辆在任何时间保持在安全可驾驶区域中。我们展示了该方法如何解决停车场紧张情况下的许多情况。即使采用保守的预测模型，评估表明，一个性能良好的系统进行测试的低速导航。
2021-09-30 cs.RO cs.SY eess.SY
Autonomous Navigation of Unmanned Vehicle Through Deep Reinforcement Learning
Northeastern University（东北大学）；New York University（纽约大学）；Peking University（北京大学）
本文探讨利用DDPG算法解决无人驾驶车辆在高维连续动作空间中的自主导航问题，实验证明其在路径规划任务中优于DQN和DDQN算法。
2024-07-18 cs.LG cs.RO
Continuous Control for Automated Lane Change Behavior Based on Deep Deterministic Policy Gradient Algorithm
换道是一项具有挑战性的任务，需要微妙的行动，以确保安全和舒适。最近的一些研究试图用强化学习（RL）来解决换道控制问题，但是动作被限制在离散的动作空间中。为了克服这一局限性，我们制定的车道变换行为与连续的行动在无模型的动态驾驶环境的基础上深度确定性策略梯度（DDPG）。奖励函数是学习最优策略的关键，由控制值、位置偏差状态和机动时间定义，为RL代理提供信息信号。RL代理从头开始训练，而不诉诸任何环境和车辆动力学的先验知识，因为它们不容易获得。七个模型在不同的超参数设置进行了比较。可获得显示驾驶行为学习进度的视频。它表明RL车辆代理最初经常跑出道路边界，但最终在模拟的各种驾驶情况下，成功率为100%，平稳地改变到目标车道。
2019-06-05 cs.LG cs.RO stat.ML
Reinforcement learning reward function in unmanned aerial vehicle control tasks
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）；Semenov Federal Research Center for Chemical Physics of the Russian Academy of Sciences（俄罗斯科学院谢苗诺夫化学物理联邦研究中心）
提出了一种新的奖励函数，可用于无人机（UAV）控制和导航问题中的深度强化学习。奖励函数基于简化轨迹到目标的时间的构造和估计，所述简化轨迹是三阶贝塞尔曲线。该奖励函数可以不改变地应用于解决二维和三维虚拟环境中的问题。在一个新开发的虚拟环境中测试了奖励函数的有效性，该虚拟环境是一个简化的二维环境，描述了无人机控制和飞行的动力学，考虑了推力、惯性、重力和气动阻力。在该公式中，成功地解决了无人机控制和导航的三个任务：无人机飞行到空间中的给定点，避免另一架无人机的拦截，以及组织一架无人机拦截另一架无人机。使用了三种最相关的现代深度强化学习算法，即软行动者-批评者、深度确定性策略梯度和双延迟深度确定性策略梯度。所有三种算法都表现良好，表明所选奖励函数的有效性。
2022-03-20 cs.LG cs.NE cs.RO
Virtual Target Trajectory Prediction for Stochastic Targets
Institute of Flight Mechanics and Controls（飞行力学与控制研究所）
本文提出基于条件归一化流的概率框架，用于预测随机目标轨迹，通过生成概率分布和虚拟目标轨迹，提升自主车辆的引导与控制算法性能。
2025-11-04 cs.RO cs.SY eess.SY
Automating Vehicles by Deep Reinforcement Learning using Task Separation with Hill Climbing
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
在自动驾驶的背景下，基于基于模型的强化学习算法的神经网络参数化控制器的设计。经典的基于模型的控制方法，包括基于采样和基于格的算法和模型预测控制，受到模型复杂性和计算负担之间的权衡的影响，所述计算负担是在每个短采样时间在线解决昂贵的优化或搜索问题所需的。为了避免这种权衡，一个2步的过程是动机：第一次学习的控制器在离线训练过程中基于任意复杂的数学系统模型，在线快速前馈评估的训练控制器之前。本文的贡献是提出了一种简单的无梯度和基于模型的算法，用于使用爬山任务分离（TSHC）的深度强化学习。特别是，（i）同时训练单独的确定性任务的目的编码许多运动原语的神经网络，和（ii）就业的最大稀疏奖励结合虚拟速度约束（VVC）在设定点附近的主张。
2018-08-02 cs.LG cs.RO
Path Planning Using Deep Deterministic Policy Gradient: A Reinforcement Learning Approach
Hampton University（汉普顿大学）；Air Force Research Laboratory（空军研究实验室）
提出基于深度确定性策略梯度的路径规划方法，将威胁建模为圆形禁行区，通过奖励函数引导智能体学习从状态到动作的映射，找到最大安全起始点集，相比传统最优控制方法速度更快，适用于实时应用。
2026-06-05 cs.RO math.OC
High-Speed Cornering Control and Real-Vehicle Deployment for Autonomous Electric Vehicles
本文提出结合 Bézier 轨迹优化与 TD3 的混合 RL-MPC 框架，首次在消费级电动汽车上实现并验证了强化学习瞬态漂移过弯算法的实车部署。
2024-11-21 cs.RO cs.SY eess.SY
Adversarial Driving Behavior Generation Incorporating Human Risk Cognition for Autonomous Vehicle Evaluation
本文提出一种结合累积前景理论与强化学习的框架，生成背景车辆对抗行为以评估自动驾驶车辆，并在硬件在环平台上验证其有效性。
2023-10-14 cs.AI cs.GT cs.LG
Data-driven Driver Model for Speed Advisory Systems in Partially Automated Vehicles
The Ohio State University（俄亥俄州立大学）
利用连接性和自动化的车辆控制算法，如互联和自动化车辆（CAV）或高级驾驶员辅助系统（ADAS），有机会提高节能效果。然而，较低水平的自动化涉及人机交互阶段，其中人类驾驶员的存在会影响闭环中控制算法的性能。这发生在例如作为速度咨询系统实施的生态驾驶控制算法的情况下，其中驾驶员被显示为要遵循的最佳速度轨迹以减少能量消耗。实现控制目标依赖于人类驾驶员完美地遵循推荐的速度。如果驾驶员无法遵循建议的速度，则可能会出现节能下降和车辆性能下降。这保证了创建方法来建模和预测人类驾驶员在使用速度咨询系统的环路中操作时的响应。这项工作的重点是开发一个基于序列到序列长短期记忆（LSTM）的驾驶员行为模型，该模型模拟了人类驾驶员在现实世界条件下与建议的期望车速轨迹的交互。驾驶模拟器用于数据汇集和训练驾驶员模型，然后将驾驶员模型与驾驶数据和确定性模型进行比较。结果表明，基于LSTM的模型与驾驶数据非常接近，表明该模型可以作为设计以人为本的速度咨询系统的工具。
2022-05-17 cs.RO cs.SY eess.SY
Disturbance Preview for Nonlinear Model Predictive Trajectory Tracking of Underwater Vehicles in Wave Dominated Environments
Institute for Integrated Micro and Nano Systems, School of Engineering, University of Edinburgh（爱丁堡大学工程学院集成微纳系统研究所）
本文提出一种集成确定性海浪预测器的非线性模型预测控制器，通过扩展卡尔曼滤波器获取状态信息形成闭环策略，用于水下车辆轨迹跟踪，实验显示位置误差改善51%，姿态误差改善44.5%。
2023-07-27 cs.RO cs.SY eess.SY
An online evolving framework for advancing reinforcement-learning based automated vehicle control
The Ohio State University（俄亥俄州立大学）；Ford Greenfield Labs（福特格林菲尔德实验室）；Ford Motor Company（福特汽车公司）
本文提出了一种在线进化框架，用于提前检测和修正控制器的不完美决策。该框架由三个模块组成：不断发展的有限状态机（e-FSM），动作修正器和控制器模块。e-FSM模块演化随机模型（例如，离散时间马尔可夫链）从头开始，通过确定新的状态和识别转移概率重复。根据最新的随机模型和给定的准则，动作修正器模块通过预测未来状态来检查控制器选择的动作的有效性。然后，如果选择的操作不合适，则检查并选择另一个操作。为了显示所提出的框架的优点，深度确定性策略梯度（DDPG）的w/和w/o的在线进化框架被应用到控制自我车辆的车辆跟驰的情况下，控制标准设置的速度和安全。实验结果表明，DDPG控制器所选择的不适当的动作检测和适当的修改，通过我们提出的框架，在几次迭代后没有控制失败。
2020-06-16 cs.AI cs.RO cs.SY
Risk-Averse Model Predictive Control for Racing in Adverse Conditions
Toyota Research Institute（丰田研究所）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出一种风险规避的模型预测控制框架，通过CVaR约束和基于样本的近似处理摩擦与轮胎参数不确定性，并在雷克萨斯LC 500上验证其相比确定性基线在恶劣路况下具有更可靠的车辆控制性能。
2024-10-22 cs.RO cs.SY eess.SY
