Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Decision Making for Autonomous Driving via Augmented Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Zenseact（森赛克特）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Google Research（谷歌研究院）
对于自主智能体来说，在复杂的驾驶环境中做出决策是一项具有挑战性的任务。模仿学习方法在实现这一目标方面具有巨大的潜力。对抗性逆强化学习（AIRL）是一种最先进的模仿学习方法，它可以同时学习行为策略和奖励函数，但它只在没有引入交互的简单静态环境中演示。在本文中，我们通过在学习框架中增加语义奖励来提高和稳定AIRL的性能。此外，我们还将增强的AIRL适应于自动驾驶高度互动环境中更实用和更具挑战性的决策任务。所提出的方法与四个基线进行比较，并通过四个性能指标进行评估。仿真结果表明，增强的AIRL优于所有的基线方法，其性能与专家的四个指标。
2021-03-26 cs.AI cs.LG
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统，结合高效逼真的驾驶模拟器，在自动驾驶领域进行大规模实验，证明策略性能随规模提升，最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
Formulation of Deep Reinforcement Learning Architecture Toward Autonomous Driving for On-Ramp Merge
California PATH, University of California, Berkeley（加州大学伯克利分校加州PATH）
多家汽车制造商正在开发或生产自动驾驶系统（ADS），提供高速公路驾驶功能。这种类型的ADS通常仅限于限制进入的高速公路，也就是说，只有在匝道合并过程手动完成后，才能从手动模式转换为自动模式。将自动化扩展到匝道合并的一个主要挑战是，当必须安全地执行近期动作时，自动化车辆需要合并和优化长期目标（例如，成功和顺利的合并）。此外，合并过程涉及与其他车辆的行为有时难以预测，但可能会影响合并车辆的最佳行动的相互作用。为了解决这样一个复杂的控制问题，我们建议应用深度强化学习（DRL）技术，通过在交互式环境中最大化长期奖励来寻找最佳驾驶策略。具体来说，我们应用长短期记忆（LSTM）架构来建模交互式环境，包含历史驾驶信息的内部状态被传递到深度Q网络（DQN）。DQN用于近似Q函数，其将内部状态作为输入并生成Q值作为动作选择的输出。利用这种DRL架构，可以捕获交互环境对长期回报的历史影响，并将其考虑在内以用于决定最优控制策略。所提出的架构具有扩展和应用于其他自动驾驶场景的潜力，例如通过复杂的交叉路口或在不同的交通流量条件下改变车道。
2019-02-02 cs.AI cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic Junction Driving
University of South Australia（南澳大利亚大学）；University of Tasmania（塔斯马尼亚大学）；University of Technology Sydney（悉尼科技大学）
自动驾驶一直处于公众利益的最前沿，而广泛关注的一个关键辩论是交通系统的安全性。深度强化学习（DRL）已被应用于自动驾驶，为避障提供解决方案。然而，在道路交通路口场景中，车辆通常从运输环境接收部分观测，而DRL需要依靠长期奖励来通过最大化累积奖励来训练可靠的模型，这可能在探索新动作并在碰撞的情况下返回正奖励或惩罚时承担风险。虽然在设计奖励函数时通常会考虑安全问题，但它们并没有完全被视为直接评估DRL算法在自动驾驶中有效性的关键指标。在这项研究中，我们评估了三个基线DRL模型（DQN，A2 C和PPO）的安全性能，并提出了一个自我意识模块，从注意力机制的DRL，以改善在复杂的道路交通路口环境中的异常车辆的安全评估，如交叉口和环形交叉口的情况下，基于四个指标：碰撞率，成功率，冻结率和总奖励。我们在训练和测试阶段的两个实验结果显示，基线日间行车线的安全性能较差，而我们提出的自我意识注意力-DQN可以显着提高交叉口和环形交叉口场景的安全性能。
2022-01-20 cs.AI cs.LG
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Simulation-based reinforcement learning for real-world autonomous driving
University of Warsaw（华沙大学）；Institute of Mathematics of the Polish Academy of Sciences（波兰科学院数学研究所）；Jagiellonian University（雅盖隆大学）；Volkswagen AG（大众汽车公司）
本文提出在仿真中用强化学习和以合成数据为主的单目RGB与语义分割输入训练驾驶策略，并通过实车实验验证sim-to-real迁移及分析感知、控制和训练设计的影响。
2024-04-03 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta（阿尔伯塔大学）
在本文中，我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习（RL）来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先，所提出的算法确保了冲突永远不会发生，因此加快了学习过程。其次，该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体（如汽车和行人）的不可预测行为，并使马尔可夫决策过程（MDP）在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections
Carnegie Mellon University（卡内基梅隆大学）
穿越交叉路口是自动驾驶车辆面临的一个挑战性问题，特别是在交叉路口没有交通控制的情况下。最近，深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中，我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致：1）强化学习代理的更快的训练过程，以及2）与没有课程训练的代理相比，更好的性能。我们的主要贡献是两方面的：1）提出了一个独特的课程，用于训练深度强化学习代理，和2）显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。
2022-07-10 cs.AI cs.LG cs.RO
Simulated Autonomous Driving in a Realistic Driving Environment using Deep Reinforcement Learning and a Deterministic Finite State Machine
Goethe University（歌德大学）；Norwegian University of Science and Technology（挪威科技大学）
在自动驾驶领域，控制车辆的系统可以被视为在复杂环境中行动的智能体，因此自然适合强化学习的现代框架。然而，学习驾驶可能是一项具有挑战性的任务，目前的结果往往局限于简化的驾驶环境。为了推进该领域，我们提出了一种方法，根据其当前的驾驶情况自适应地限制代理的动作空间，并表明它可以用于在基于深度Q网络算法的现实环境中快速学习驾驶。
2018-11-23 cs.AI
Learning Personalized Discretionary Lane-Change Initiation for Fully Autonomous Driving Based on Reinforcement Learning
Institute of Industrial Science（产业技术研究所）；The University of Tokyo（东京大学）
提出了一种通过人机交互学习全自动车辆自主换道启动的个性化策略的新方法。采用强化学习技术来学习如何从交通环境、自动驾驶车辆的动作和车载用户反馈中启动车道变更，而不是从人类驾驶演示中学习。建议的离线算法奖励的行动选择策略时，用户给予积极的反馈和惩罚时，负反馈。此外，多维驾驶场景被认为是代表一个更现实的车道变化的权衡。结果表明，该方法得到的换道启动模型能够再现个性化的换道策略，且定制模型的性能（平均准确率为86.1%）明显优于非定制模型（平均准确率为75.7%）.这种方法允许在完全自动驾驶期间持续改进用户的定制，即使没有人类驾驶经验，这将显著提高用户对自动驾驶车辆高水平自主性的接受程度。
2020-10-29 cs.AI cs.HC cs.LG
Scenario-Based Hierarchical Reinforcement Learning for Automated Driving Decision Making
Reasoning Chair RWTH Aachen University（推理主席 雷姆辛大学）；Institute for Automotive Engineering RWTH Aachen University（汽车工程研究所 雷姆辛大学）
本文提出SAD-RL框架，通过分层强化学习结合场景化环境训练自动驾驶决策策略，解决了复杂任务泛化性与学习效率问题，实现安全行为。
2025-06-28 cs.AI cs.LG cs.RO
Developing Driving Strategies Efficiently: A Skill-Based Hierarchical Reinforcement Learning Approach
Bilkent University（毕尔肯大学）
针对强化学习训练驾驶员模型成本高的问题，提出以运动基元为高层动作的基于技能分层驾驶策略，在汇入场景中以更少训练获得优于基线RL的性能。
2023-09-17 cs.AI cs.LG cs.RO
Simulated Autonomous Driving on Realistic Road Networks using Deep Reinforcement Learning
vsi.cs.uni-frankfurt.de（法兰克福大学vsi.cs（vsi.cs.uni-frankfurt.de））；cs.uni-frankfurt.de（法兰克福大学计算机科学系（cs.uni-frankfurt.de））
使用深度强化学习（DRL）可以成为处理（模拟）自动驾驶领域各种任务的一种有前途的方法。然而，最近的出版物主要考虑在不寻常的驾驶环境中学习。本文介绍了驾驶学校的自主智能体（DSA ^2），一个软件，用于验证DRL算法在更常见的驾驶环境的基础上，人工和现实的道路网络。我们还介绍了应用DSA ^2处理直线道路上驾驶的任务，同时根据不同的速度限制调节一辆车的速度的结果。
2018-04-03 cs.AI
Urban Driving with Multi-Objective Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）
自动驾驶是一个具有挑战性的领域，涉及多个方面：车辆应该能够尽可能快地行驶到目的地，同时避免碰撞，遵守交通规则并确保乘客的舒适性。在本文中，我们提出了一个深度学习变体的阈值词典Q学习的任务，城市驾驶。我们的多目标DQN智能体学习在多车道道路和十字路口驾驶，根据交通规则让步和改变车道。我们还提出了一个扩展因子马尔可夫决策过程的DQN架构，提供辅助功能的Q功能。这表明可以显著提高数据效率。然后，我们表明，学习的政策是能够zero-shot转移到环路，而不牺牲性能。
2019-02-26 cs.AI cs.LG cs.RO
A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫研究所信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
本文综述了强化学习在自动驾驶中奖励函数的设计，分析了不同方法的优缺点，并提出了未来研究方向，如奖励验证框架和情境感知奖励。
2026-03-04 cs.AI cs.LG cs.RO
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete（克里特理工大学）；University of Malta（马耳他大学）
在这项工作中，被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法，该方法对环境模型和系统动态进行假设。相反，这项工作提出了基于强化学习的驱动策略的发展。通过这种方式，所提出的驾驶策略对环境做出最小假设或不做假设，因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知，这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略，首先，通过动态规划推导出的最优策略进行比较，其次，其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后，一些初步的结果，自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University（清华大学）
如何尽可能有效和彻底地探索角落案例一直是深度强化学习（DeepRL）自动驾驶背景下的首要问题之一。与利用真实世界数据相比，使用模拟数据进行训练的成本和危险性更低，但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距，这可能是模拟器难以生成的新颖，异常和风险情况下表现不佳的原因。域随机化（DR）是一种方法，可以用很少或没有真实世界的数据来弥合这一差距。因此，在这项研究中，提出了一种对抗模型，以增强在模拟中训练的基于DeepRL的自动驾驶车辆，以逐渐出现更难的事件，以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
Combining Planning and Deep Reinforcement Learning in Tactical Decision Making for Autonomous Driving
Volvo Group（沃尔沃集团）；Chalmers University of Technology（查尔姆斯理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
由于环境的多样性、传感器信息的不确定性以及与其他道路使用者的复杂交互，自动驾驶的战术决策具有挑战性。本文介绍了一个战术决策的一般框架，它结合了规划和学习的概念，以蒙特卡罗树搜索和深度强化学习的形式。该方法基于AlphaGo Zero算法，该算法被扩展到具有连续状态空间的域，其中不能使用自我游戏。该框架被应用到两个不同的高速公路驾驶情况下，在模拟环境中，它表现得比常用的基线方法。结合规划和学习的强度也说明了使用蒙特卡罗树搜索或神经网络政策分别比较。
2019-05-06 cs.AI cs.LG cs.RO
Driving in Real Life with Inverse Reinforcement Learning
Motional（Motional（自动驾驶公司））
在本文中，我们介绍了第一个基于学习的规划器，使用逆强化学习（IRL）在密集的城市交通中驾驶汽车。我们的规划器DriveIRL生成一组不同的轨迹建议，使用轻量级和可解释的安全过滤器过滤这些轨迹，然后使用学习模型对每个剩余轨迹进行评分。最佳轨迹由我们自动驾驶车辆的低级控制器跟踪。我们训练我们的轨迹评分模型在拉斯维加斯的最大熵IRL框架内的专家驾驶示范的500多小时的真实世界的数据集。DriveIRL的优势包括：由于只学习轨迹评分功能，相对可解释的功能和强大的现实世界性能，因此设计简单。我们在拉斯维加斯大道上验证了DriveIRL，并在交通繁忙的情况下展示了完全自动驾驶，包括涉及切入，领头车辆突然刹车和酒店接送区的场景。我们的数据集将公开，以帮助在这一领域的进一步研究。
2022-06-07 cs.AI cs.LG cs.RO
Affordance-based Reinforcement Learning for Urban Driving
Carnegie Mellon University（卡内基梅隆大学）
遵循模块化方法的传统自动驾驶汽车管道过去在学术界和工业界都非常成功，这导致了道路上的自动驾驶。虽然这种方法提供了方便的解释，其推广到看不见的环境是有限的，需要手工设计的许多参数，特别是在预测和规划系统。最近，深度强化学习已被证明可以学习复杂的战略游戏并执行具有挑战性的机器人任务，这为学习驾驶提供了一个有吸引力的框架。在这项工作中，我们提出了一个深度强化学习框架，使用航点和低维视觉表示（也称为启示）来学习最优控制策略。我们证明，我们的代理从零开始训练时学习的任务车道跟踪，驾驶周围的交叉路口，以及停止在前面的其他演员或交通灯，即使在密集的交通设置。我们注意到，我们的方法在CARLA模拟器上实现了与原始基准方法和NoCrash基准方法相当或更好的性能。
2021-01-15 cs.AI cs.LG cs.RO
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG（大众汽车公司）；Technische Universität Darmstadt（达姆施塔特工业大学）
行为和运动规划在自动驾驶中起着重要的作用。传统上，行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性，可能会发生不可预测的情况，其中行为规划者无法匹配预定义的行为模板。最近，已经引入了通用规划器，其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而，出现了两个挑战：首先，该函数必须将复杂的特征空间映射到奖励。其次，奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中，我们提出了一种方法，依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外，我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明，我们能够学习奖励函数超过手动专家调整的水平，没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
Identifying Reaction-Aware Driving Styles of Stochastic Model Predictive Controlled Vehicles by Inverse Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对现有ME-IRL方法未充分体现自动驾驶车辆反应特性的问题，本文设计反应感知新特征，用改进的ME-IRL从SMPC生成的轨迹中识别驾驶风格，经仿真与实验验证有效。
2023-08-23 cs.AI cs.LG cs.RO
Virtual to Real Reinforcement Learning for Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
强化学习被认为是驱动策略学习的一个有前途的方向。然而，在真实环境中使用强化学习训练自动驾驶车辆涉及不可负担的试错。更希望首先在虚拟环境中进行训练，然后转移到真实环境中。在本文中，我们提出了一种新的现实翻译网络，使在虚拟环境中训练的模型在现实世界中是可行的。该网络可以将非真实感的虚拟图像转换为具有相似场景结构的真实图像。以真实帧为输入，通过强化学习训练的驾驶策略可以很好地适应现实世界的驾驶。实验表明，我们提出的虚拟现实（VR）的强化学习（RL）工作得很好。据我们所知，这是第一个通过强化学习训练驾驶策略的成功案例，可以适应真实世界的驾驶数据。
2017-09-26 cs.AI cs.CV
Autonomous Driving using Safe Reinforcement Learning by Incorporating a Regret-based Human Lane-Changing Decision Model
Michigan State University（密歇根州立大学）；Clemson University（克莱姆森大学）
预计即使自动驾驶技术已经准备就绪，许多人类驾驶员仍然更喜欢自己驾驶。因此，人类驾驶车辆和自动驾驶车辆（AV）将长期共存于混合交通中。为了使无人驾驶汽车能够在这种混合交通中安全有效地机动，至关重要的是无人驾驶汽车能够了解人类如何应对风险并做出与驾驶相关的决策。另一方面，驾驶环境是高度动态和不断变化的，因此难以枚举所有场景并对控制器进行硬编码。为了应对这些挑战，在这项工作中，我们将人类决策模型纳入强化学习中，以控制自动驾驶汽车实现安全高效的操作。具体来说，我们采用后悔理论来描述人类驾驶员的换道行为，并将个性化模型拟合到个体驾驶员，以预测他们的换道决策。在训练和实施中，将预测的决策纳入强化学习的安全约束中。然后，我们使用扩展版本的双深Q网络（DDQN）训练我们的AV控制器内的安全设置。通过这样做，训练中的碰撞量减少到零，而训练精度不受影响。
2019-10-10 cs.AI cs.LG cs.RO
CuRLA: Curriculum Learning Based Deep Reinforcement Learning for Autonomous Driving
Birla Institute of Technology & Science, Pilani（毕拉理工与科学学院皮拉尼分校）
本文提出CuRLA，将PPO、VAE与双重课程学习结合，在CARLA中通过渐进难度和碰撞惩罚提升自动驾驶智能体的泛化性、安全性与多奖励平衡能力。
2025-01-09 cs.AI cs.LG cs.RO
Self-driving scale car trained by Deep reinforcement learning
North China University of Technology（北方工业大学）
基于深度强化学习的自动驾驶，作为人工智能最重要的应用，已经成为热门话题。目前的自动驾驶方法大多集中在如何直接从原始感知数据中学习端到端的自动驾驶控制策略。本质上，这种控制策略可以被认为是图像和驾驶行为之间的映射，通常面临泛化能力低的问题。为了提高驾驶行为的泛化能力，强化学习方法需要来自真实环境的外部奖励，这可能会损坏汽车。为了在安全性方面获得良好的泛化能力，利用Unity设计了一个可以构建不同驾驶场景的虚拟仿真环境。在虚拟仿真环境中建立了理论模型并进行了分析，采用双Deep Q网络对其进行了训练。然后，将训练好的模型迁移到现实世界中的比例车上。这个过程也称为sim2real方法。sim2real训练方法有效地解决了这两个问题。仿真和实验结果验证了该算法的性能和有效性。最后，证明了在现实世界中的规模汽车获得自主驾驶的能力。
2019-12-04 cs.AI cs.LG cs.SY
Efficient Sampling-Based Maximum Entropy Inverse Reinforcement Learning with Application to Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）；Shanghai Jiaotong University（上海交通大学）
在过去的几十年里，我们目睹了自动驾驶领域的重大进展。基于优化和强化学习（RL）的先进技术在解决正向问题方面变得越来越强大：给定设计的奖励/成本函数，我们应该如何优化它们并获得安全有效地与环境交互的驾驶策略。这样的进展提出了另一个同样重要的问题：\emph{what should we optimize}？我们不需要手动指定奖励函数，而是希望我们能够从真实的交通数据中提取人类驾驶员试图优化的内容，并将其分配给自动驾驶汽车，以实现人类和智能代理之间更自然和透明的交互。为了解决这个问题，本文提出了一种有效的基于采样的最大熵逆强化学习（IRL）算法。与现有的IRL算法不同，该算法通过引入一个高效的连续域轨迹采样器，在考虑驾驶员轨迹不确定性的同时，直接在连续域中学习奖励函数.我们评估所提出的算法在真实的驾驶数据，包括非交互式和交互式的场景。实验结果表明，与其他IRL算法相比，该算法具有更高的预测精度、更快的收敛速度和更好的泛化能力。
2020-06-22 cs.AI cs.LG cs.RO
Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning
Volkswagen Group Innovation, Volkswagen AG（大众集团创新部，大众汽车集团）；Institute of Mathematics, TU Berlin（柏林工业大学数学研究所）
本文针对强化学习自动驾驶策略，采用基于高斯过程的高效全局优化算法进行超参数优化，通过拉丁超立方采样和并行化加速，使驾驶性能提升4%，并验证了策略的鲁棒性。
2024-07-19 cs.AI cs.LG math.OC
Parameter Sharing Reinforcement Learning Architecture for Multi Agent Driving Behaviors
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
多智能体学习为交通行为的学习和模拟提供了一个潜在的框架。本文提出了一种新的架构，学习多种驾驶行为在交通场景。所提出的架构可以独立地以及同时地学习多个行为。我们利用代理的同质性，并在参数共享范式中学习。为了进一步加快训练过程，在架构中采用异步更新。在同时学习不同行为的同时，给定的框架还能够学习代理之间的合作，而无需任何显式的通信。我们应用这个框架来学习驾驶中的两个重要行为：1）车道保持和2）超车。结果表明，更快的收敛和学习更通用的行为，这是可扩展到任何数量的代理。与现有的方法相比，我们的结果表明，在某些情况下，平等，甚至更好的性能。
2018-11-17 cs.AI cs.LG cs.RO
Reinforcement Learning and Deep Learning based Lateral Control for Autonomous Driving
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文研究了基于视觉的自动驾驶与深度学习和强化学习方法。与端到端学习方法不同，该方法将基于视觉的侧向控制系统分解为感知模块和控制模块。感知模块基于多任务学习神经网络，首先以驾驶员视角图像为输入，预测轨迹特征。基于强化学习的控制模块然后基于这些特征做出控制决策。为了提高数据效率，我们提出了可视化TORCS（VTORCS），一个深度的强化学习环境，它是基于开放的赛车模拟器（TORCS）。通过所提供的功能，可以训练具有图像或各种物理传感器测量的输入的代理，或者在该模拟器上评估感知算法。训练后的强化学习控制器在不同的跟踪性能上优于线性二次型调节器（LQR）控制器和模型预测控制（MPC）控制器。实验结果表明，感知模块表现出良好的性能和控制器能够控制车辆沿轨道中心与视觉输入很好地驱动。
2018-10-30 cs.AI cs.CV cs.LG
Tactical Decision-Making in Autonomous Driving by Reinforcement Learning with Uncertainty Estimation
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Group（沃尔沃集团）
强化学习（RL）可以用于创建用于自动驾驶的战术决策代理。然而，以前的方法只输出决策，并没有提供有关代理的信心，在推荐的行动。本文研究了如何贝叶斯RL技术，集成的神经网络与额外的随机先验函数（RPF）的基础上，可以用来估计的不确定性，在自动驾驶决策。还介绍了一种用于对动作是否应该被认为是安全的进行分类的方法。集成RPF方法的性能进行评估，通过训练代理在高速公路驾驶的情况下。它表明，经过训练的代理可以估计其决策的不确定性，并表示一个不可接受的水平时，代理面临的情况是远离训练分布。此外，在训练分布内，总体RPF代理优于标准深度Q-网络代理。在这项研究中，估计的不确定性是用来选择安全的行动，在未知的情况下。然而，不确定性信息也可用于确定应添加到训练过程中的情况。
2020-04-22 cs.AI cs.LG cs.RO
Investigating Value of Curriculum Reinforcement Learning in Autonomous Driving Under Diverse Road and Weather Conditions
Istanbul Technical University（伊斯坦布尔理工大学）；ITU Artificial Intelligence and Data Science Research Center（伊斯坦布尔理工大学人工智能与数据科学研究中心）；Bogazici University（博阿齐奇大学）
强化学习（RL）在自动驾驶任务中的应用很普遍。话虽如此，调整RL代理的性能并保证在各种不同驾驶场景中的泛化性能仍然是一个悬而未决的问题。特别是，在复杂的道路和天气条件下获得良好的性能需要详尽的调整和计算时间。课程强化学习，专注于解决简单的自动化任务，以便将知识转移到复杂的任务，正在吸引RL社区的关注。本文的主要贡献是对课程强化学习在自动驾驶应用中的价值进行了系统的研究。为此，我们在一个逼真的驾驶模拟器中设置了几个不同的驾驶场景，具有不同的道路复杂性和天气条件。接下来，我们训练和评估性能的RL代理不同序列的任务组合和课程。结果表明，课程RL可以在复杂的驾驶任务中产生显着的收益，无论是在驾驶性能和样本的复杂性。结果还表明，不同的课程可能会带来不同的好处，这暗示了未来的研究方向自动化课程培训。
2021-08-02 cs.AI
Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而，仍有一些关键挑战需要解决，以提供更可靠的政策。在本文中，我们提出了一个通用的风险意识的DQN方法，以学习高层次的行动，通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息，其允许用于多车道场景。此外，我们提出了一个基于风险的奖励函数，它惩罚有风险的情况，而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络，并学习更可靠的策略，在具有挑战性的情况下更安全。所提出的方法的效率相比，与传统的碰撞为基础的奖励计划，也与基于规则的交叉口导航政策的DQN学习。评估结果表明，所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作，并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving
Nuro, Inc.（Nuro公司）
本文提出CIMRL框架，结合模仿学习和强化学习，利用模仿先验与安全约束在仿真中训练驾驶策略，无需复杂奖励设计，在闭环仿真和真实驾驶基准中达到最先进性能。
2024-11-11 cs.LG
Efficient Reinforcement Learning for Autonomous Driving with Parameterized Skills and Priors
University of Toronto（多伦多大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；McGill University（麦吉尔大学）
针对自动驾驶在交互式密集交通中学习效率低的问题，提出ASAP-RL算法，通过参数化运动技能和双重初始化利用专家先验，在稀疏奖励下实现更高学习效率和更好驾驶性能。
2023-05-08 cs.AI cs.LG cs.RO
Model-free Deep Reinforcement Learning for Urban Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）
城市自动驾驶决策是具有挑战性的，由于复杂的道路几何形状和多智能体的相互作用。目前的决策方法大多是人工设计的驱动策略，这可能会导致次优的解决方案，是昂贵的开发，推广和维护规模。另一方面，通过强化学习（RL），可以自动学习和改进策略，而无需任何手动设计。然而，目前的RL方法一般不工作，以及复杂的城市场景。在本文中，我们提出了一个框架，在具有挑战性的城市自动驾驶场景中实现无模型深度强化学习。我们设计了一个特定的输入表示，并使用视觉编码来捕获低维的潜在状态。我们的框架中实现了几种最先进的无模型深度RL算法，并采用了几种技巧来提高其性能。我们评估我们的方法在一个具有挑战性的迂回任务与密集的周围车辆在一个高清晰度的驾驶模拟器。结果表明，我们的方法可以很好地解决该任务，并且明显优于基线。
2019-10-21 cs.AI cs.CV cs.LG
Autonomous Braking and Throttle System: A Deep Reinforcement Learning Approach for Naturalistic Driving
College of Engineering Pune（浦那工程学院）
自动制动和油门控制是未来开发安全驾驶系统的关键。需要自动驾驶车辆在确保安全性和舒适性的同时协商多智能体环境。提出了一种基于深度强化学习的自主油门刹车系统。对于每个时间步长，所提出的系统做出施加制动或油门的决定。油门和制动器被建模为连续的动作空间值。我们演示了2个场景，其中需要一个复杂的制动和油门系统，即当有一个静态的障碍物在我们的代理人面前，如汽车，停车标志。第二个场景是两辆车接近一个十字路口。通过使用深度确定性策略梯度的计算机模拟来学习用于制动和油门控制的策略。实验表明，该系统不仅避免了碰撞，而且保证了在脱离紧急情况时油门/制动值的平稳变化并遵守速度规定，即系统类似于人类驾驶。
2020-08-15 cs.AI cs.LG cs.RO
TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning
Motional
TreeIRL结合蒙特卡洛树搜索与逆强化学习，在仿真和500多英里真实道路测试中实现安全、高效且类人的自动驾驶规划，为城市驾驶规划提供新方案。
2025-10-25 cs.AI cs.LG cs.RO
A Platform-Agnostic Deep Reinforcement Learning Framework for Effective Sim2Real Transfer towards Autonomous Driving
Technische Universität Dresden（德累斯顿工业大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig（德累斯顿/莱比锡可扩展数据分析与人工智能中心（ScaDS.AI））
本文提出一种平台无关的深度强化学习框架，利用平台相关感知模块在仿真中训练车道跟随与超车智能体，显著缩小平台间及Sim2Real差距，实现仿真与真实环境中的有效驾驶。
2024-08-28 cs.AI cs.LG cs.RO
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US（美国本田研究所）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（DRL）为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而，识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中，我们表明，明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架，结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外，我们通过图神经网络（GNNs）对不同车辆之间的影响进行建模。与最先进的基线方法相比，所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving
Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）；Indian Institute of Science（印度科学学院）；PES university（PES大学）
针对传统规则式机动规划应对真实场景多变性不足的问题，提出结合预测模型与深度强化学习的PMP-DRL模型，在NGSIM数据集模拟环境中验证其在安全舒适决策上优于规则及模仿学习模型。
2023-06-15 cs.AI cs.LG cs.RO
V-Max: A Reinforcement Learning Framework for Autonomous Driving
针对强化学习在自动驾驶中缺乏标准化高效研究框架的问题，本文提出开放框架 V-Max，基于 Waymax 模拟器并扩展 ScenarioNet 方法，使 RL 在 AD 中更实用。
2025-07-17 cs.AI cs.LG cs.RO
Research on Autonomous Driving Decision-making Strategies based Deep Reinforcement Learning
Syracuse University（雪城大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Ohio State University（俄亥俄州立大学）
本文研究自动驾驶行为决策问题，采用DQN和PPO两种深度强化学习方法并改进奖励函数设计，实验证明其决策策略在多种驾驶任务中优于传统基于规则的方法。
2024-12-27 cs.LG
Bootstrapping Reinforcement Learning with Sub-optimal Policies for Autonomous Driving
The Ohio State University（俄亥俄州立大学）
针对强化学习在自动驾驶中样本效率低、探索不足的问题，提出结合基于规则的次优换道控制器与SAC算法引导智能体训练，提升了驾驶性能与学习效率，且可扩展至更多驾驶场景。
2025-09-04 cs.AI cs.LG cs.RO
Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies
Simula Research Laboratory（Simula研究实验室）
众所周知，自动驾驶汽车容易受到对抗攻击的攻击，这些攻击可能危及汽车的安全，并对其他道路使用者构成危险。为了有效地防御对手，不仅需要测试自动驾驶汽车以发现驾驶错误，还需要提高汽车对这些错误的鲁棒性。为此，在本文中，我们提出了一种自动驾驶汽车的两步方法，包括（i）通过训练对抗性驾驶代理来发现自动驾驶汽车的故障状态，以及（ii）通过使用有效的对抗性输入重新训练自动驾驶汽车来提高自动驾驶汽车的鲁棒性。我们的方法支持在多智能体环境中测试自动驾驶汽车，在那里我们训练并比较两个自定义奖励函数上的对抗性汽车策略，以测试自动驾驶汽车的驾驶控制决策。我们在基于视觉的高保真城市驾驶模拟环境中进行实验。我们的研究结果表明，对抗性测试可用于发现错误的自动驾驶行为，然后进行对抗性训练，以提高基于深度强化学习的自动驾驶策略的鲁棒性。我们证明，使用有效的对抗性输入重新训练的自动驾驶汽车在减少碰撞和越野转向错误方面显着提高了其驾驶策略的性能。
2023-02-21 cs.AI
Efficient and Generalized end-to-end Autonomous Driving System with Latent Deep Reinforcement Learning and Demonstrations
Shanghai Qizhi Institute（上海启智研究所）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息学院）；Mogo Auto Intelligence and Telematics Information Technology Co., Ltd（摩戈智能与 telemetry 信息技术有限公司）
本文提出EGADS，一种结合变分推断、归一化流和专家示范的端到端自动驾驶系统，显著降低样本复杂度、提升安全性并增强复杂城市场景的泛化能力。
2025-09-10 cs.AI cs.LG cs.RO
Autonomous Driving with Deep Reinforcement Learning in CARLA Simulation
University of Maryland, Baltimore County (UMBC)（马里兰大学巴尔的摩郡分校（UMBC））
本文利用深度Q学习算法，在CARLA仿真环境中训练自动驾驶策略，使车辆能以最高速度保持车道并避开其他车辆，并通过仿真验证了该方法的有效性。
2023-06-20 cs.AI cs.LG cs.RO
Interactive Double Deep Q-network: Integrating Human Interventions and Evaluative Predictions in Reinforcement Learning of Autonomous Driving
Center for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心）；Örebro University（奥雷布罗大学）；Computer Vision Laboratory（计算机视觉实验室）；Linköping University（利德斯霍尔大学）
交互式双深Q网络通过整合人类干预与评估预测，提升自动驾驶强化学习的性能和适应性。
2025-04-28 cs.AI cs.LG cs.RO
Driver Assistance Eco-driving and Transmission Control with Deep Reinforcement Learning
Clemson University（克莱姆森大学）；Allison Transmission Inc.（艾里逊变速箱公司）
随着减少能源消耗和温室气体排放的需求日益增长，生态驾驶战略为交通运输部门寻求的其他技术解决方案提供了额外节省燃料的重要机会。本文提出了一种无模型的深度强化学习（RL）控制代理，用于主动生态驾驶辅助，将燃料消耗与其他驾驶员适应目标进行权衡，并从经验中学习最佳牵引扭矩和变速器换档策略。所提出的RL代理的训练方案使用了一个离线策略的演员-评论家架构，该架构迭代地进行策略评估，并使用混合动作空间的最大后验策略优化算法进行多步返回和策略改进。建议的生态驾驶RL代理实现的商业车辆在汽车跟随交通。与完全了解燃油效率表的基准控制器相比，它在最大限度地减少燃油消耗方面表现出卓越的性能。
2022-12-15 cs.AI cs.LG cs.SY
Incorporating Recurrent Reinforcement Learning into Model Predictive Control for Adaptive Control in Autonomous Driving
University of Freiburg（弗赖堡大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对MPC依赖精确动力学模型且静态参数难以应对扰动的问题，本文提出MPC-RRL，将控制建模为POMDP并用循环强化学习持续自适应模型参数，在CARLA中验证了鲁棒性。
2023-04-27 cs.AI cs.LG cs.RO
