Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
在各种交通文化和驾驶条件下，自动驾驶车辆在野外以适当的道路驾驶技术（安全有效地驾驶，而不打扰或危及其他道路使用者）执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色，并被应用于自动驾驶汽车策略，但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程（MDP）适应问题，并开发了Meta强化学习（MRL）驱动策略，以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟，以验证快速适应能力的MRL驾驶策略，显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统，结合高效逼真的驾驶模拟器，在自动驾驶领域进行大规模实验，证明策略性能随规模提升，最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
自动驾驶近年来取得了重大进展，但自动驾驶汽车仍无法应对可能发生事故的高风险情况。在这种近乎事故的情况下，即使车辆动作的微小变化也可能导致截然不同的后果。为了避免在接近事故的情况下采取不安全的行动，我们需要充分探索环境。然而，强化学习（RL）和模仿学习（IL），两种广泛使用的策略学习方法，不能建模快速相变，并且不可扩展以完全覆盖所有状态。为了解决在接近事故的情况下驾驶，我们提出了一个分层强化和模仿学习（H-ReIL）的方法，包括低级别的政策学习的IL离散驾驶模式，和一个高级别的政策学习的RL之间切换不同的驾驶模式。我们的方法通过将IL和RL集成到一个统一的学习框架中，利用了IL和RL的优势。实验结果和用户研究表明，我们的方法可以实现更高的效率和安全性相比，其他方法。对策略的分析表明，在接近事故驾驶的情况下，我们的高层策略在不同的低层策略之间进行了适当的切换。
2020-07-01 cs.AI cs.LG cs.RO
SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving
National Natural Science Foundation (NNSF) of China（中国国家自然科学基金委员会）；National Science and Major Project（国家科学技术重大专项）
提出SARAD框架，结合大语言模型和深度强化学习，通过检索增强生成和碰撞预测模块提升自动驾驶的安全性和效率。
2026-05-27 cs.AI cs.LG cs.RO
Elements of Effective Deep Reinforcement Learning towards Tactical Driving Decision Making
Horizon Robotics, inc.（地平线机器人技术有限公司（Horizon Robotics, inc.））
战术驾驶决策对于自动驾驶系统至关重要，近年来引起了人们的极大兴趣。在本文中，我们提出了几个实用的组件，可以加速深度强化学习算法对战术决策任务：1）非均匀动作跳过作为一个更稳定的替代动作重复跳帧，2）计数器为基础的惩罚车道上的自我车辆有较少的路权，和3）启发式推理时间动作掩蔽明显不受欢迎的行动。我们在一个现实的驾驶模拟器中评估所提出的组件，并将它们与几个基线进行比较。结果表明，该方案提供了优越的性能，在安全性，效率和舒适性。
2018-02-01 cs.AI cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Adaptive Energy Management for Real Driving Conditions via Transfer Reinforcement Learning
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）；Waterloo University（滑铁卢大学）
提出了一种基于传递强化学习（RL）的并联混合动力汽车（HEV）自适应能量管理方法。这是一个双层次的方法。上一级描述了如何通过驾驶循环变换（DCT）在RL框架中对Q值表进行变换。特别是，计算了不同周期功率请求的转移概率矩阵（TPM），并采用诱导矩阵范数（IMN）作为识别变换差异并确定控制策略变更的关键标准。下层利用无模型强化学习（RL）算法，根据变换后的Q值表和TPM确定相应的控制策略。数值试验表明，通过调节IMN值，可以调节传递性能，传递RL控制器可以获得更高的燃油经济性。结果表明，该方法在计算速度和控制性能上均优于传统RL方法。
2020-07-24 cs.LG cs.SY eess.SY
Virtual to Real Reinforcement Learning for Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
强化学习被认为是驱动策略学习的一个有前途的方向。然而，在真实环境中使用强化学习训练自动驾驶车辆涉及不可负担的试错。更希望首先在虚拟环境中进行训练，然后转移到真实环境中。在本文中，我们提出了一种新的现实翻译网络，使在虚拟环境中训练的模型在现实世界中是可行的。该网络可以将非真实感的虚拟图像转换为具有相似场景结构的真实图像。以真实帧为输入，通过强化学习训练的驾驶策略可以很好地适应现实世界的驾驶。实验表明，我们提出的虚拟现实（VR）的强化学习（RL）工作得很好。据我们所知，这是第一个通过强化学习训练驾驶策略的成功案例，可以适应真实世界的驾驶数据。
2017-09-26 cs.AI cs.CV
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架，用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆（AEV）的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度，避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明，与相似任务相关的决策策略是可传递的。结果表明，所提出的控制框架可以减少时间消耗，实现在线实施.
2020-10-10 cs.AI cs.LG
Weakly Supervised Reinforcement Learning for Autonomous Highway Driving via Virtual Safety Cages
University of Surrey（萨里大学）
神经网络和强化学习的使用在自主车辆控制中变得越来越流行。然而，由此产生的控制策略的不透明性对在自主车辆中部署基于神经网络的控制提出了重大障碍。在本文中，我们提出了一种基于强化学习的方法，自主车辆纵向控制，其中基于规则的安全笼提供增强的安全性的车辆以及弱监督的强化学习代理。通过将代理引导到有意义的状态和动作，这种弱监督改善了训练过程中的收敛性，并增强了最终训练策略的安全性。这种基于规则的监督控制器具有完全可解释的进一步优势，从而使传统的验证和验证方法能够确保车辆的安全性。我们比较了有和没有安全笼的模型，以及具有最佳和约束模型参数的模型，并表明弱监督始终提高了探索的安全性，收敛速度和模型性能。此外，我们表明，当模型参数受到约束或次优时，安全笼可以使模型学习安全驾驶策略，即使模型无法单独通过强化学习进行训练。
2021-03-17 cs.LG cs.SY eess.SY
Driving Reinforcement Learning with Models
imperial.ac.uk（帝国理工学院（注：原文本中此处可能为邮箱域名，非明确机构，根据提取规则应忽略））
在本文中，我们提出了一种新的方法来补充强化学习（RL）与基于模型的控制（特别是，模型预测控制- MPC）。我们介绍了一种算法，MPC增强RL（MPRL），结合RL和MPC在一个新的方式，使他们可以增强对方的优势。我们证明了MPRL的有效性，让它发挥对雅达利游戏乒乓。对于这项任务，结果强调了MPRL如何能够在单独使用时优于RL和MPC。
2020-02-26 cs.AI cs.LG
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Simulated Autonomous Driving in a Realistic Driving Environment using Deep Reinforcement Learning and a Deterministic Finite State Machine
Goethe University（歌德大学）；Norwegian University of Science and Technology（挪威科技大学）
在自动驾驶领域，控制车辆的系统可以被视为在复杂环境中行动的智能体，因此自然适合强化学习的现代框架。然而，学习驾驶可能是一项具有挑战性的任务，目前的结果往往局限于简化的驾驶环境。为了推进该领域，我们提出了一种方法，根据其当前的驾驶情况自适应地限制代理的动作空间，并表明它可以用于在基于深度Q网络算法的现实环境中快速学习驾驶。
2018-11-23 cs.AI
Deep Reinforcement Learning Based High-level Driving Behavior Decision-making Model in Heterogeneous Traffic
School of Electronic and Information Engineering, Beijing Jiaotong University（北京交通大学电子信息工程学院）；State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University（北京交通大学轨道交通控制与安全国家重点实验室）
高层驾驶行为决策是互联车辆技术面临的一个挑战性问题，尤其是在异构交通场景下。提出了一种基于深度强化学习的异构交通环境下互联车辆高级驾驶行为决策方法。该模型由三个主要部分组成：将混合数据映射为称为超网格矩阵的数据格式的数据预处理器，提取隐藏特征的双流深度神经网络，以及学习最优策略的深度强化学习网络。最后，建立了一个包含不同异构交通场景的仿真环境，对所提出的方法进行了训练和测试。结果表明，该模型有能力学习最佳的高层次的驾驶策略，如驾驶快速通过异构交通没有不必要的车道变化。最后，通过两个独立的模型与所提出的模型进行了比较，并对性能进行了详细的分析。
2019-02-26 cs.AI cs.LG
Deep Reinforcement Learning for Advanced Longitudinal Control and Collision Avoidance in High-Risk Driving Scenarios
College of Engineering, University of Maryland（马里兰大学工程学院）
针对现有高级驾驶辅助系统易忽视后车风险、难以应对高速密集车流中连环碰撞的问题，提出一种同时考虑前后车行为的深度强化学习纵向避撞算法，仿真验证其可有效预防含重型车辆在内的连环碰撞。
2025-02-21 cs.AI cs.LG cs.RO
Human-like Energy Management Based on Deep Reinforcement Learning and Historical Driving Experiences
Chongqing University（重庆大学）；Chongqing Normal University（重庆师范大学）；Chongqing University Three Gorges Hospital（重庆大学附属三峡医院）
本文面向混合动力电动汽车提出融合DDPG、DP专家轨迹与驾驶员历史数据的类人能量管理框架，并通过实验验证其燃油经济性、收敛性与适应性。
2023-09-26 cs.AI cs.LG cs.SY
Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected and Automated Vehicles at Signalized Intersections
University of California at Riverside（加州大学河滨分校）；Beijing Jiaotong University（北京交通大学）
利用车联网（V2X）通信和自动驾驶技术，互联和自动驾驶汽车正迅速成为许多交通问题的变革性解决方案之一。然而，在信号交叉口的混合交通环境中，考虑到交通系统的复杂性和不确定性，如何提高整体吞吐量和能量效率仍然是一个具有挑战性的任务。在这项研究中，我们提出了一个混合强化学习（HRL）框架，该框架结合了基于规则的策略和深度强化学习（深度RL），以支持在混合交通信号交叉口连接生态驾驶。视觉感知方法与车辆到基础设施（V2 I）通信相结合，以在混合连接的交通中实现更高的移动性和能源效率。HRL框架有三个组成部分：一个基于规则的驾驶管理器，用于操作基于规则的策略和RL策略之间的协作;一个多流神经网络，用于提取视觉和V2 I信息的隐藏特征;以及一个基于RL的深度策略网络，用于生成纵向和横向的生态驾驶行为。为了评估我们的方法，我们开发了一个基于Unity的模拟器，并设计了一个混合交通路口的情况。此外，几个基线实施，以比较我们的新设计，并进行了数值试验，以测试的HRL模式的性能。实验表明，我们的HRL方法可以减少能源消耗的12.70%，节省11.75%的旅行时间相比，最先进的基于模型的生态驾驶方法。
2022-01-28 cs.LG cs.SY eess.SY
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete（克里特理工大学）；University of Malta（马耳他大学）
在这项工作中，被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法，该方法对环境模型和系统动态进行假设。相反，这项工作提出了基于强化学习的驱动策略的发展。通过这种方式，所提出的驾驶策略对环境做出最小假设或不做假设，因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知，这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略，首先，通过动态规划推导出的最优策略进行比较，其次，其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后，一些初步的结果，自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
Non-zero-sum Game Control for Multi-vehicle Driving via Reinforcement Learning
Tsinghua University（清华大学）
车辆在道路上行驶时，其行为会受到周围车辆的影响。预测和决策不应该被认为是两个独立的阶段，因为所有的车辆都是交互式地做出决策的。本文将多车驾驶场景构建为一个非零和博弈，提出了一个集预测、决策和控制为一体的博弈控制框架。在此框架中考虑了车辆之间相互作用的相互影响，因为决策是由纳什均衡策略做出的。为了有效地获得该策略，ADP，一个基于基于模型的强化学习方法，被用来解决耦合Hamilton-Jacobi-Bellman方程。驾驶性能通过跟踪、效率、安全性和舒适性指标进行评估。实验表明，我们的算法可以通过直接控制加速度和转向角来实现完美的驾驶。车辆可以学习超车和超车等互动行为。综上所述，本文提出了一个多车驾驶非零和博弈模型，为解决多车驾驶的纳什均衡策略提供了一种有效的方法，并在无信号交叉口进行了验证。
2023-02-08 cs.AI cs.LG
Safe Model-based Off-policy Reinforcement Learning for Eco-Driving in Connected and Automated Hybrid Electric Vehicles
Center for Automotive Research, The Ohio State University（俄亥俄州立大学汽车研究中心）；Bending Spoons（本丁斯普恩斯）；Department of Electrical and Computer Engineering, The Ohio State University（俄亥俄州立大学电气与计算机工程系）
互联和自动化混合动力电动汽车有可能在现实驾驶条件下减少燃油消耗和旅行时间。生态驾驶问题寻求基于来自连接和高级映射功能的前瞻信息来设计最佳速度和功率使用曲线。最近，深度强化学习（DRL）已被应用于生态驾驶问题。虽然以前的研究综合模拟器和无模型DRL，以减少在线计算，这项工作提出了一个安全的非政策基于模型的强化学习算法的生态驾驶问题。与现有文献相比，其优点有三方面。首先，离策略学习和基于物理的模型的使用的组合提高了样本效率。第二，训练不需要任何外在的约束满足的奖励机制。第三，通过使用由深度生成模型近似的安全集来保证轨迹的可行性。所提出的方法的性能是基准对代表人类驾驶员的基线控制器，以前设计的无模型DRL策略，和观望的最佳解决方案。在仿真中，所提出的算法导致一个更高的平均速度和更好的燃油经济性相比，无模型代理的政策。与基线控制器相比，学习策略在保持平均速度相当的情况下减少了超过21%的燃料消耗。
2022-01-30 cs.LG cs.SY eess.SY
Simulated Autonomous Driving on Realistic Road Networks using Deep Reinforcement Learning
vsi.cs.uni-frankfurt.de（法兰克福大学vsi.cs（vsi.cs.uni-frankfurt.de））；cs.uni-frankfurt.de（法兰克福大学计算机科学系（cs.uni-frankfurt.de））
使用深度强化学习（DRL）可以成为处理（模拟）自动驾驶领域各种任务的一种有前途的方法。然而，最近的出版物主要考虑在不寻常的驾驶环境中学习。本文介绍了驾驶学校的自主智能体（DSA ^2），一个软件，用于验证DRL算法在更常见的驾驶环境的基础上，人工和现实的道路网络。我们还介绍了应用DSA ^2处理直线道路上驾驶的任务，同时根据不同的速度限制调节一辆车的速度的结果。
2018-04-03 cs.AI
Simulation-based reinforcement learning for real-world autonomous driving
University of Warsaw（华沙大学）；Institute of Mathematics of the Polish Academy of Sciences（波兰科学院数学研究所）；Jagiellonian University（雅盖隆大学）；Volkswagen AG（大众汽车公司）
本文提出在仿真中用强化学习和以合成数据为主的单目RGB与语义分割输入训练驾驶策略，并通过实车实验验证sim-to-real迁移及分析感知、控制和训练设计的影响。
2024-04-03 cs.AI cs.LG cs.RO
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta（阿尔伯塔大学）
在本文中，我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习（RL）来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先，所提出的算法确保了冲突永远不会发生，因此加快了学习过程。其次，该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体（如汽车和行人）的不可预测行为，并使马尔可夫决策过程（MDP）在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
Towards Safe Autonomous Driving Policies using a Neuro-Symbolic Deep Reinforcement Learning Approach
George Washington University（乔治华盛顿大学）；Istanbul University-Cerrahpasa（伊斯坦布尔大学-杰拉赫帕夏）；University of Surrey（萨里大学）
本文提出神经符号深度强化学习方法DRLSL，结合经验学习与逻辑推理，在真实环境中实现安全自动驾驶，并在HighD数据集上验证了其避免不安全行为、快速收敛及良好泛化能力。
2025-08-17 cs.AI cs.LG cs.LO
Zero-shot Deep Reinforcement Learning Driving Policy Transfer for Autonomous Vehicles based on Robust Control
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种基于鲁棒控制的零样本深度强化学习驾驶策略迁移方法，通过转移具体的运动学量来解决自动驾驶中源域与目标域之间的建模差距问题，采用可转移的分层强化学习轨迹规划器和基于扰动观测器的鲁棒跟踪控制器，验证了该方法在多个驾驶场景中的零样本迁移能力。
2018-12-07 cs.LG cs.RO cs.SY
State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections
Carnegie Mellon University（卡内基梅隆大学）
穿越交叉路口是自动驾驶车辆面临的一个挑战性问题，特别是在交叉路口没有交通控制的情况下。最近，深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中，我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致：1）强化学习代理的更快的训练过程，以及2）与没有课程训练的代理相比，更好的性能。我们的主要贡献是两方面的：1）提出了一个独特的课程，用于训练深度强化学习代理，和2）显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。
2022-07-10 cs.AI cs.LG cs.RO
Safe Trajectory Planning Using Reinforcement Learning for Self Driving
Texas A&M University（德州农工大学）；Carnegie Mellon University（卡内基梅隆大学）
自动驾驶汽车必须能够在各种复杂的环境中智能地行动，这些环境以高维状态空间、无数优化目标和复杂行为为标志。传统上，经典的优化和搜索技术已被应用于自动驾驶的问题，但它们并没有完全解决在高维状态和复杂行为的环境中的操作。最近，针对自动驾驶的任务提出了模仿学习;但是获得足够的训练数据是劳动密集型的。强化学习已被提出作为直接控制汽车的一种方式，但这存在安全性和舒适性问题。我们建议在自动驾驶的轨迹规划阶段使用无模型强化学习，并表明这种方法使我们能够以更安全，更通用和更舒适的方式操作汽车，这是自动驾驶任务所需的。
2020-11-09 cs.AI cs.RO
Learning Personalized Discretionary Lane-Change Initiation for Fully Autonomous Driving Based on Reinforcement Learning
Institute of Industrial Science（产业技术研究所）；The University of Tokyo（东京大学）
提出了一种通过人机交互学习全自动车辆自主换道启动的个性化策略的新方法。采用强化学习技术来学习如何从交通环境、自动驾驶车辆的动作和车载用户反馈中启动车道变更，而不是从人类驾驶演示中学习。建议的离线算法奖励的行动选择策略时，用户给予积极的反馈和惩罚时，负反馈。此外，多维驾驶场景被认为是代表一个更现实的车道变化的权衡。结果表明，该方法得到的换道启动模型能够再现个性化的换道策略，且定制模型的性能（平均准确率为86.1%）明显优于非定制模型（平均准确率为75.7%）.这种方法允许在完全自动驾驶期间持续改进用户的定制，即使没有人类驾驶经验，这将显著提高用户对自动驾驶车辆高水平自主性的接受程度。
2020-10-29 cs.AI cs.HC cs.LG
Optimizing Low-Speed Autonomous Driving: A Reinforcement Learning Approach to Route Stability and Maximum Speed
本文提出一种基于强化学习的低速自动驾驶策略优化方法，在保证安全和路线准确性的前提下，使车辆稳定保持接近最高速度行驶。
2024-12-20 cs.AI cs.RO
Model-free Deep Reinforcement Learning for Urban Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）
城市自动驾驶决策是具有挑战性的，由于复杂的道路几何形状和多智能体的相互作用。目前的决策方法大多是人工设计的驱动策略，这可能会导致次优的解决方案，是昂贵的开发，推广和维护规模。另一方面，通过强化学习（RL），可以自动学习和改进策略，而无需任何手动设计。然而，目前的RL方法一般不工作，以及复杂的城市场景。在本文中，我们提出了一个框架，在具有挑战性的城市自动驾驶场景中实现无模型深度强化学习。我们设计了一个特定的输入表示，并使用视觉编码来捕获低维的潜在状态。我们的框架中实现了几种最先进的无模型深度RL算法，并采用了几种技巧来提高其性能。我们评估我们的方法在一个具有挑战性的迂回任务与密集的周围车辆在一个高清晰度的驾驶模拟器。结果表明，我们的方法可以很好地解决该任务，并且明显优于基线。
2019-10-21 cs.AI cs.CV cs.LG
Scenario-Based Hierarchical Reinforcement Learning for Automated Driving Decision Making
Reasoning Chair RWTH Aachen University（推理主席 雷姆辛大学）；Institute for Automotive Engineering RWTH Aachen University（汽车工程研究所 雷姆辛大学）
本文提出SAD-RL框架，通过分层强化学习结合场景化环境训练自动驾驶决策策略，解决了复杂任务泛化性与学习效率问题，实现安全行为。
2025-06-28 cs.AI cs.LG cs.RO
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan（密歇根大学）
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先，我们研究了表格环境下的Q-学习算法，并将其成功地应用于OpenAi Gym环境Taxi。其次，我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三，我们还研究了强化学习在自动驾驶中的应用，以及与安全检查约束（安全控制器）的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体，并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
Carl-Lead: Lidar-based End-to-End Autonomous Driving with Contrastive Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）
在不受管制的交叉路口的城市人群中进行自动驾驶具有挑战性，其中应仔细考虑其他车辆的动态遮挡和不确定行为。传统的方法是启发式的，基于手工设计的规则和参数，但在新的情况下扩展性很差。因此，在所有可预见的场景中，它们需要高劳动力成本来设计和维护规则。最近，深度强化学习（DRL）在城市驾驶场景中显示出了很好的效果。然而，DRL被认为是样本效率低下，大多数以前的作品假设完美的观察，如地面实况的位置和车辆的运动，而不考虑噪声和遮挡，这可能是一个太强的假设政策部署。在这项工作中，我们使用DRL来训练基于激光雷达的端到端驾驶策略，这些策略自然会考虑不完美的部分观测。我们进一步使用无监督的对比表示学习作为辅助任务，以提高样本效率。比较评估结果表明，我们的方法比最先进的（SOTA）基于激光雷达的端到端驾驶网络实现了更高的成功率，比精心调整的基于规则的方法更好地权衡了安全性和效率，并且比基线更好地推广到新场景。演示视频可在https://caipeide.github.io/carl-lead/上获得。
2021-09-17 cs.AI cs.RO cs.SY
Developing Driving Strategies Efficiently: A Skill-Based Hierarchical Reinforcement Learning Approach
Bilkent University（毕尔肯大学）
针对强化学习训练驾驶员模型成本高的问题，提出以运动基元为高层动作的基于技能分层驾驶策略，在汇入场景中以更少训练获得优于基线RL的性能。
2023-09-17 cs.AI cs.LG cs.RO
Goal-constrained Sparse Reinforcement Learning for End-to-End Driving
Inria（法国国家信息与自动化研究所）
用于端到端驾驶的深度强化学习受到复杂奖励工程需求的限制。稀疏奖励可以规避这一挑战，但遭受长的训练时间，并导致次优的政策。在这项工作中，我们探索完全控制驾驶只有目标约束的稀疏奖励，并提出了一个课程学习方法，端到端的驾驶只使用导航视图地图，受益于小的虚拟到真实的域差距。为了解决多个驾驶策略的复杂性，我们学习在推理时由导航系统选择的并发个体策略。我们证明了我们的建议，以概括看不见的道路布局的能力，并驾驶显着长于在培训。
2021-07-31 cs.AI cs.CV cs.RO
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University（南洋理工大学）；Indian Institute of Technological（印度技术学院）；Indian Institute of Technology（印度理工学院）
提出将车道保持建模为约束强化学习，自动学习权重系数，免去场景特定调整，实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
End-to-End Model-Free Reinforcement Learning for Urban Driving using Implicit Affordances
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Valeo Driving Assistance Research Valeo.ai（法雷奥驾驶辅助研究法雷奥人工智能）
强化学习（RL）旨在从自己的实验中学习最优行为策略，而不是基于规则的控制方法。然而，目前还没有RL算法能够处理像城市驾驶这样困难的任务。我们提出了一种新的技术，创造了隐含的启示，有效地利用RL的城市驾驶，从而包括车道保持，行人和车辆回避，交通灯检测。据我们所知，我们是第一个提出一个成功的RL代理处理这样一个复杂的任务，特别是关于交通灯检测。此外，我们通过赢得CARLA挑战赛的Camera Only赛道证明了我们方法的有效性。
2020-03-16 cs.AI cs.CV cs.LG
ApolloRL: a Reinforcement Learning Platform for Autonomous Driving
Baidu Apollo Autonomous Driving（百度阿波罗自动驾驶）；University of Cambridge（剑桥大学）
我们介绍ApolloRL，这是一个用于自动驾驶强化学习研究的开放平台。该平台提供了一个完整的闭环管道，包括培训，模拟和评估组件。它配备了300小时的驾驶场景和流行的基线，如近端策略优化（PPO）和软Actor-Critic（SAC）代理的真实数据。我们在本文中阐述的架构和平台中定义的环境。此外，我们还讨论了基线代理在ApolloRL环境中的性能。
2022-01-29 cs.LG cs.RO stat.ML
Investigating Value of Curriculum Reinforcement Learning in Autonomous Driving Under Diverse Road and Weather Conditions
Istanbul Technical University（伊斯坦布尔理工大学）；ITU Artificial Intelligence and Data Science Research Center（伊斯坦布尔理工大学人工智能与数据科学研究中心）；Bogazici University（博阿齐奇大学）
强化学习（RL）在自动驾驶任务中的应用很普遍。话虽如此，调整RL代理的性能并保证在各种不同驾驶场景中的泛化性能仍然是一个悬而未决的问题。特别是，在复杂的道路和天气条件下获得良好的性能需要详尽的调整和计算时间。课程强化学习，专注于解决简单的自动化任务，以便将知识转移到复杂的任务，正在吸引RL社区的关注。本文的主要贡献是对课程强化学习在自动驾驶应用中的价值进行了系统的研究。为此，我们在一个逼真的驾驶模拟器中设置了几个不同的驾驶场景，具有不同的道路复杂性和天气条件。接下来，我们训练和评估性能的RL代理不同序列的任务组合和课程。结果表明，课程RL可以在复杂的驾驶任务中产生显着的收益，无论是在驾驶性能和样本的复杂性。结果还表明，不同的课程可能会带来不同的好处，这暗示了未来的研究方向自动化课程培训。
2021-08-02 cs.AI
CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving
Nuro, Inc.（Nuro公司）
本文提出CIMRL框架，结合模仿学习和强化学习，利用模仿先验与安全约束在仿真中训练驾驶策略，无需复杂奖励设计，在闭环仿真和真实驾驶基准中达到最先进性能。
2024-11-11 cs.LG
Urban Driving with Multi-Objective Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）
自动驾驶是一个具有挑战性的领域，涉及多个方面：车辆应该能够尽可能快地行驶到目的地，同时避免碰撞，遵守交通规则并确保乘客的舒适性。在本文中，我们提出了一个深度学习变体的阈值词典Q学习的任务，城市驾驶。我们的多目标DQN智能体学习在多车道道路和十字路口驾驶，根据交通规则让步和改变车道。我们还提出了一个扩展因子马尔可夫决策过程的DQN架构，提供辅助功能的Q功能。这表明可以显著提高数据效率。然后，我们表明，学习的政策是能够zero-shot转移到环路，而不牺牲性能。
2019-02-26 cs.AI cs.LG cs.RO
A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫研究所信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
本文综述了强化学习在自动驾驶中奖励函数的设计，分析了不同方法的优缺点，并提出了未来研究方向，如奖励验证框架和情境感知奖励。
2026-03-04 cs.AI cs.LG cs.RO
Decision Making for Autonomous Driving via Augmented Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Zenseact（森赛克特）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Google Research（谷歌研究院）
对于自主智能体来说，在复杂的驾驶环境中做出决策是一项具有挑战性的任务。模仿学习方法在实现这一目标方面具有巨大的潜力。对抗性逆强化学习（AIRL）是一种最先进的模仿学习方法，它可以同时学习行为策略和奖励函数，但它只在没有引入交互的简单静态环境中演示。在本文中，我们通过在学习框架中增加语义奖励来提高和稳定AIRL的性能。此外，我们还将增强的AIRL适应于自动驾驶高度互动环境中更实用和更具挑战性的决策任务。所提出的方法与四个基线进行比较，并通过四个性能指标进行评估。仿真结果表明，增强的AIRL优于所有的基线方法，其性能与专家的四个指标。
2021-03-26 cs.AI cs.LG
Prioritized Experience-based Reinforcement Learning with Human Guidance for Autonomous Driving
Nanyang Technological University（南洋理工大学）
强化学习（Reinforcement learning，RL）需要巧妙的定义和大量的计算工作来解决优化和控制问题，这可能会影响其应用前景。将人类指导引入强化学习是提高学习性能的一种有前途的方法。本文建立了一个综合的基于人的指导的强化学习框架。为了提高强化学习算法的效率和性能，提出了一种适应强化学习过程中人工指导的经验优先回放机制.为了减轻人类参与者的繁重工作量，基于增量式在线学习方法建立行为模型来模仿人类行为。我们设计了两个具有挑战性的自动驾驶任务来评估所提出的算法。通过实验研究了该算法的训练和测试性能以及学习机制。对国家的最先进的方法的比较结果表明，我们的算法在学习效率，性能和鲁棒性方面的优势。
2022-11-29 cs.LG cs.RO
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University（清华大学）
如何尽可能有效和彻底地探索角落案例一直是深度强化学习（DeepRL）自动驾驶背景下的首要问题之一。与利用真实世界数据相比，使用模拟数据进行训练的成本和危险性更低，但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距，这可能是模拟器难以生成的新颖，异常和风险情况下表现不佳的原因。域随机化（DR）是一种方法，可以用很少或没有真实世界的数据来弥合这一差距。因此，在这项研究中，提出了一种对抗模型，以增强在模拟中训练的基于DeepRL的自动驾驶车辆，以逐渐出现更难的事件，以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars
Ben-Gurion University of the Negev（本-古里安大学）
自动驾驶汽车（AV）开发所涉及的技术和科学挑战目前是许多汽车公司和研究实验室的主要兴趣。然而，人类控制的车辆可能会在未来几十年内继续在道路上行驶，并可能与自动驾驶汽车共享未来的交通环境。在这样的混合环境中，自动驾驶汽车应该部署类似人类的驾驶策略和谈判技巧，以实现顺畅的交通流。为了生成自动化的类人驾驶策略，我们引入了一种无模型的深度强化学习方法来模仿有经验的人类驾驶员的行为。我们研究了一个静态避障任务的双车道公路模拟（Unity）。我们的控制算法从两个来源接收随机反馈信号：模型驱动的部分，编码简单的驾驶规则，如车道保持和速度控制，和随机的，数据驱动的部分，结合人类的专家知识，从驾驶数据。为了评估机器和人类驾驶之间的相似性，我们将轨道位置和速度的分布建模为高斯过程。我们证明，我们的方法导致类似人类的驾驶政策。
2020-06-19 cs.LG cs.RO stat.ML
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US（美国本田研究所）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（DRL）为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而，识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中，我们表明，明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架，结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外，我们通过图神经网络（GNNs）对不同车辆之间的影响进行建模。与最先进的基线方法相比，所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
A Safe Hierarchical Planning Framework for Complex Driving Scenarios based on Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
自动驾驶汽车需要处理各种交通状况，并做出安全有效的决策和操纵。然而，一方面，单个基于优化/采样的运动规划器不能有效地实时的生成安全轨迹，特别是当附近有许多交互式车辆时。另一方面，端到端的学习方法不能保证结果的安全性。为了解决这一挑战，我们提出了一个分层的行为规划框架，一组低级别的安全控制器和一个高级别的强化学习算法（H-CtRL）作为协调员的低级别控制器。安全性由底层优化/采样控制器保证，而高级强化学习算法使H-CtRL成为自适应和高效的行为规划器。为了训练和测试我们提出的算法，我们建立了一个模拟器，可以使用真实世界的数据集再现交通场景。H-CtRL被证明是有效的，在各种现实的仿真场景，具有令人满意的性能，在安全性和效率。
2021-06-09 cs.AI cs.RO cs.SY
Combining Planning and Deep Reinforcement Learning in Tactical Decision Making for Autonomous Driving
Volvo Group（沃尔沃集团）；Chalmers University of Technology（查尔姆斯理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
由于环境的多样性、传感器信息的不确定性以及与其他道路使用者的复杂交互，自动驾驶的战术决策具有挑战性。本文介绍了一个战术决策的一般框架，它结合了规划和学习的概念，以蒙特卡罗树搜索和深度强化学习的形式。该方法基于AlphaGo Zero算法，该算法被扩展到具有连续状态空间的域，其中不能使用自我游戏。该框架被应用到两个不同的高速公路驾驶情况下，在模拟环境中，它表现得比常用的基线方法。结合规划和学习的强度也说明了使用蒙特卡罗树搜索或神经网络政策分别比较。
2019-05-06 cs.AI cs.LG cs.RO
Driving in Real Life with Inverse Reinforcement Learning
Motional（Motional（自动驾驶公司））
在本文中，我们介绍了第一个基于学习的规划器，使用逆强化学习（IRL）在密集的城市交通中驾驶汽车。我们的规划器DriveIRL生成一组不同的轨迹建议，使用轻量级和可解释的安全过滤器过滤这些轨迹，然后使用学习模型对每个剩余轨迹进行评分。最佳轨迹由我们自动驾驶车辆的低级控制器跟踪。我们训练我们的轨迹评分模型在拉斯维加斯的最大熵IRL框架内的专家驾驶示范的500多小时的真实世界的数据集。DriveIRL的优势包括：由于只学习轨迹评分功能，相对可解释的功能和强大的现实世界性能，因此设计简单。我们在拉斯维加斯大道上验证了DriveIRL，并在交通繁忙的情况下展示了完全自动驾驶，包括涉及切入，领头车辆突然刹车和酒店接送区的场景。我们的数据集将公开，以帮助在这一领域的进一步研究。
2022-06-07 cs.AI cs.LG cs.RO
