CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving
Nuro, Inc.(Nuro公司)
本文提出CIMRL框架,结合模仿学习和强化学习,利用模仿先验与安全约束在仿真中训练驾驶策略,无需复杂奖励设计,在闭环仿真和真实驾驶基准中达到最先进性能。
2024-11-11 cs.LG
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US(美国本田研究所);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
深度强化学习(DRL)为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而,识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中,我们表明,明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架,结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外,我们通过图神经网络(GNNs)对不同车辆之间的影响进行建模。与最先进的基线方法相比,所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
WiseMove: A Framework for Safe Deep Reinforcement Learning for Autonomous Driving
University of Waterloo(滑铁卢大学)
机器学习可以为自动驾驶中遇到的复杂问题提供有效的解决方案,但确保其安全性仍然是一个挑战。许多作者试图解决这个问题,但很少有公开可用的工具来充分探索功能,可伸缩性和安全性之间的权衡。因此,我们提出了WiseMove,这是一个软件框架,用于在自动驾驶运动规划的背景下研究安全的深度强化学习。WiseMove采用模块化的学习架构,既适合我们当前的研究问题,又可以适应新技术和新问题。我们介绍了WiseMove的详细信息,演示了它在常见交通场景中的使用,并描述了我们如何在正在进行的安全学习研究中使用它。
2019-02-11 cs.LG cs.NE cs.PF
Research on Autonomous Driving Decision-making Strategies based Deep Reinforcement Learning
Syracuse University(雪城大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Ohio State University(俄亥俄州立大学)
本文研究自动驾驶行为决策问题,采用DQN和PPO两种深度强化学习方法并改进奖励函数设计,实验证明其决策策略在多种驾驶任务中优于传统基于规则的方法。
2024-12-27 cs.LG
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University(南洋理工大学);Indian Institute of Technological(印度技术学院);Indian Institute of Technology(印度理工学院)
提出将车道保持建模为约束强化学习,自动学习权重系数,免去场景特定调整,实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur(印度理工学院卡拉格普尔分校)
强化学习(RL)与深度学习(DL)结合的最新进展在复杂任务(包括自动驾驶)中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验,但深度强化学习(DRL)有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习,而不是依赖于RL代理来学习复杂的任务,它使用由结构化程序和多个RL代理组成的层次结构,每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下,从RL代理,导致一个更显着的可解释性和可验证的实现相比,一个复杂的RL代理。不同的驾驶任务,和NHTSA precrash方案使用CARLA,一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Elements of Effective Deep Reinforcement Learning towards Tactical Driving Decision Making
Horizon Robotics, inc.(地平线机器人技术有限公司(Horizon Robotics, inc.))
战术驾驶决策对于自动驾驶系统至关重要,近年来引起了人们的极大兴趣。在本文中,我们提出了几个实用的组件,可以加速深度强化学习算法对战术决策任务:1)非均匀动作跳过作为一个更稳定的替代动作重复跳帧,2)计数器为基础的惩罚车道上的自我车辆有较少的路权,和3)启发式推理时间动作掩蔽明显不受欢迎的行动。我们在一个现实的驾驶模拟器中评估所提出的组件,并将它们与几个基线进行比较。结果表明,该方案提供了优越的性能,在安全性,效率和舒适性。
2018-02-01 cs.AI cs.LG
End-to-End Model-Free Reinforcement Learning for Urban Driving using Implicit Affordances
MINES ParisTech(巴黎高等矿业学院);PSL(巴黎文理研究大学);Valeo Driving Assistance Research Valeo.ai(法雷奥驾驶辅助研究法雷奥人工智能)
强化学习(RL)旨在从自己的实验中学习最优行为策略,而不是基于规则的控制方法。然而,目前还没有RL算法能够处理像城市驾驶这样困难的任务。我们提出了一种新的技术,创造了隐含的启示,有效地利用RL的城市驾驶,从而包括车道保持,行人和车辆回避,交通灯检测。据我们所知,我们是第一个提出一个成功的RL代理处理这样一个复杂的任务,特别是关于交通灯检测。此外,我们通过赢得CARLA挑战赛的Camera Only赛道证明了我们方法的有效性。
2020-03-16 cs.AI cs.CV cs.LG
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University(崇实大学)
本文提出AD4RL基准,包含19个自动驾驶数据集(含真实人类驾驶数据)和七种离线强化学习算法在三种场景下的评估,并给出统一决策过程模型,为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Prioritized Experience-based Reinforcement Learning with Human Guidance for Autonomous Driving
Nanyang Technological University(南洋理工大学)
强化学习(Reinforcement learning,RL)需要巧妙的定义和大量的计算工作来解决优化和控制问题,这可能会影响其应用前景。将人类指导引入强化学习是提高学习性能的一种有前途的方法。本文建立了一个综合的基于人的指导的强化学习框架。为了提高强化学习算法的效率和性能,提出了一种适应强化学习过程中人工指导的经验优先回放机制.为了减轻人类参与者的繁重工作量,基于增量式在线学习方法建立行为模型来模仿人类行为。我们设计了两个具有挑战性的自动驾驶任务来评估所提出的算法。通过实验研究了该算法的训练和测试性能以及学习机制。对国家的最先进的方法的比较结果表明,我们的算法在学习效率,性能和鲁棒性方面的优势。
2022-11-29 cs.LG cs.RO
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学)
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架,用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆(AEV)的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度,避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明,与相似任务相关的决策策略是可传递的。结果表明,所提出的控制框架可以减少时间消耗,实现在线实施.
2020-10-10 cs.AI cs.LG
Automated quantum programming via reinforcement learning for combinatorial optimization
Stanford University(斯坦福大学);Rigetti Computing(里盖蒂计算公司)
我们开发了一种基于激励的混合量子经典计算系统的编程方法,使用强化学习,并将其应用于解决模拟和真实的基于门的量子计算机上的组合优化问题。相对于一组随机生成的问题实例,通过强化学习技术训练的智能体能够生成短量子程序,这些程序在两种类型的量子资源上生成高质量的解决方案。我们观察到泛化到训练集之外的问题,以及从模拟量子资源到物理量子资源的泛化。
2019-08-21 cs.LG quant-ph
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Driving Reinforcement Learning with Models
imperial.ac.uk(帝国理工学院(注:原文本中此处可能为邮箱域名,非明确机构,根据提取规则应忽略))
在本文中,我们提出了一种新的方法来补充强化学习(RL)与基于模型的控制(特别是,模型预测控制- MPC)。我们介绍了一种算法,MPC增强RL(MPRL),结合RL和MPC在一个新的方式,使他们可以增强对方的优势。我们证明了MPRL的有效性,让它发挥对雅达利游戏乒乓。对于这项任务,结果强调了MPRL如何能够在单独使用时优于RL和MPC。
2020-02-26 cs.AI cs.LG
Deep Reinforcement Learning Based High-level Driving Behavior Decision-making Model in Heterogeneous Traffic
School of Electronic and Information Engineering, Beijing Jiaotong University(北京交通大学电子信息工程学院);State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University(北京交通大学轨道交通控制与安全国家重点实验室)
高层驾驶行为决策是互联车辆技术面临的一个挑战性问题,尤其是在异构交通场景下。提出了一种基于深度强化学习的异构交通环境下互联车辆高级驾驶行为决策方法。该模型由三个主要部分组成:将混合数据映射为称为超网格矩阵的数据格式的数据预处理器,提取隐藏特征的双流深度神经网络,以及学习最优策略的深度强化学习网络。最后,建立了一个包含不同异构交通场景的仿真环境,对所提出的方法进行了训练和测试。结果表明,该模型有能力学习最佳的高层次的驾驶策略,如驾驶快速通过异构交通没有不必要的车道变化。最后,通过两个独立的模型与所提出的模型进行了比较,并对性能进行了详细的分析。
2019-02-26 cs.AI cs.LG
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete(克里特理工大学);University of Malta(马耳他大学)
在这项工作中,被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法,该方法对环境模型和系统动态进行假设。相反,这项工作提出了基于强化学习的驱动策略的发展。通过这种方式,所提出的驾驶策略对环境做出最小假设或不做假设,因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知,这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略,首先,通过动态规划推导出的最优策略进行比较,其次,其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后,一些初步的结果,自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI(IBM研究AI)
我们研究的问题,对抗性强化学习的多代理域,包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的,以便它们在各种情况下都能正常工作。因此,尽一切努力在开发阶段找到故障场景。然而,随着软件变得复杂,查找失败案例变得困难。特别是在多智能体领域,如自动驾驶环境,很难找到有用的故障场景,帮助我们改进算法。我们提出了一种方法,有效地找到失败的情况下,这种方法使用多智能体强化学习训练的对抗代理,这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Driving Style Encoder: Situational Reward Adaptation for General-Purpose Planning in Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
自动驾驶的通用规划算法结合了任务、行为和局部运动规划。这种规划算法将环境和驾驶运动学的特征映射到复杂的奖励函数中。为了实现这一目标,规划专家通常依赖于线性奖励函数。这些奖励函数的规范和调优是一个繁琐的过程,需要大量的经验。此外,手动设计的线性奖励函数不能在不同的驾驶情况下推广。在这项工作中,我们提出了一种基于逆强化学习的深度学习方法,该方法可以生成依赖于情境的奖励函数。我们的神经网络提供了一个基于模型预测控制的规划器的采样驾驶策略的特征和动作之间的映射,并预测即将到来的规划周期的奖励函数。在我们的评估中,我们将深度网络预测的奖励函数的驱动风格与聚类和线性奖励函数进行了比较。我们提出的深度学习方法优于集群线性奖励函数,并且与具有有关情况的先验知识的线性奖励函数相当。
2020-09-13 cs.AI cs.LG cs.RO
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
在各种交通文化和驾驶条件下,自动驾驶车辆在野外以适当的道路驾驶技术(安全有效地驾驶,而不打扰或危及其他道路使用者)执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色,并被应用于自动驾驶汽车策略,但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程(MDP)适应问题,并开发了Meta强化学习(MRL)驱动策略,以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟,以验证快速适应能力的MRL驾驶策略,显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
Non-zero-sum Game Control for Multi-vehicle Driving via Reinforcement Learning
Tsinghua University(清华大学)
车辆在道路上行驶时,其行为会受到周围车辆的影响。预测和决策不应该被认为是两个独立的阶段,因为所有的车辆都是交互式地做出决策的。本文将多车驾驶场景构建为一个非零和博弈,提出了一个集预测、决策和控制为一体的博弈控制框架。在此框架中考虑了车辆之间相互作用的相互影响,因为决策是由纳什均衡策略做出的。为了有效地获得该策略,ADP,一个基于基于模型的强化学习方法,被用来解决耦合Hamilton-Jacobi-Bellman方程。驾驶性能通过跟踪、效率、安全性和舒适性指标进行评估。实验表明,我们的算法可以通过直接控制加速度和转向角来实现完美的驾驶。车辆可以学习超车和超车等互动行为。综上所述,本文提出了一个多车驾驶非零和博弈模型,为解决多车驾驶的纳什均衡策略提供了一种有效的方法,并在无信号交叉口进行了验证。
2023-02-08 cs.AI cs.LG
Bootstrapping Reinforcement Learning with Sub-optimal Policies for Autonomous Driving
The Ohio State University(俄亥俄州立大学)
针对强化学习在自动驾驶中样本效率低、探索不足的问题,提出结合基于规则的次优换道控制器与SAC算法引导智能体训练,提升了驾驶性能与学习效率,且可扩展至更多驾驶场景。
2025-09-04 cs.AI cs.LG cs.RO
Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
自动驾驶近年来取得了重大进展,但自动驾驶汽车仍无法应对可能发生事故的高风险情况。在这种近乎事故的情况下,即使车辆动作的微小变化也可能导致截然不同的后果。为了避免在接近事故的情况下采取不安全的行动,我们需要充分探索环境。然而,强化学习(RL)和模仿学习(IL),两种广泛使用的策略学习方法,不能建模快速相变,并且不可扩展以完全覆盖所有状态。为了解决在接近事故的情况下驾驶,我们提出了一个分层强化和模仿学习(H-ReIL)的方法,包括低级别的政策学习的IL离散驾驶模式,和一个高级别的政策学习的RL之间切换不同的驾驶模式。我们的方法通过将IL和RL集成到一个统一的学习框架中,利用了IL和RL的优势。实验结果和用户研究表明,我们的方法可以实现更高的效率和安全性相比,其他方法。对策略的分析表明,在接近事故驾驶的情况下,我们的高层策略在不同的低层策略之间进行了适当的切换。
2020-07-01 cs.AI cs.LG cs.RO
Simulation-based reinforcement learning for real-world autonomous driving
University of Warsaw(华沙大学);Institute of Mathematics of the Polish Academy of Sciences(波兰科学院数学研究所);Jagiellonian University(雅盖隆大学);Volkswagen AG(大众汽车公司)
本文提出在仿真中用强化学习和以合成数据为主的单目RGB与语义分割输入训练驾驶策略,并通过实车实验验证sim-to-real迁移及分析感知、控制和训练设计的影响。
2024-04-03 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta(阿尔伯塔大学)
在本文中,我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习(RL)来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先,所提出的算法确保了冲突永远不会发生,因此加快了学习过程。其次,该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体(如汽车和行人)的不可预测行为,并使马尔可夫决策过程(MDP)在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Self-driving scale car trained by Deep reinforcement learning
North China University of Technology(北方工业大学)
基于深度强化学习的自动驾驶,作为人工智能最重要的应用,已经成为热门话题。目前的自动驾驶方法大多集中在如何直接从原始感知数据中学习端到端的自动驾驶控制策略。本质上,这种控制策略可以被认为是图像和驾驶行为之间的映射,通常面临泛化能力低的问题。为了提高驾驶行为的泛化能力,强化学习方法需要来自真实环境的外部奖励,这可能会损坏汽车。为了在安全性方面获得良好的泛化能力,利用Unity设计了一个可以构建不同驾驶场景的虚拟仿真环境。在虚拟仿真环境中建立了理论模型并进行了分析,采用双Deep Q网络对其进行了训练。然后,将训练好的模型迁移到现实世界中的比例车上。这个过程也称为sim2real方法。sim2real训练方法有效地解决了这两个问题。仿真和实验结果验证了该算法的性能和有效性。最后,证明了在现实世界中的规模汽车获得自主驾驶的能力。
2019-12-04 cs.AI cs.LG cs.SY
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton(纽约州立大学宾汉姆顿分校)
强化学习(RL)使智能体能够从试错经验中学习,以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务,但由于它们不同的计算模式,RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率,我们开发了Guided Dyna-Q(GDQ),使RL agent能够使用动作知识进行推理,以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务,在多房间的办公室环境中进行了评估。与竞争基线相比,GDQ显著减少了探索的努力,同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展,但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是,传统的分层强化学习方法由于其风险性而不适用于自动驾驶:智能体必须避开多个障碍物,例如高度不可预测的其他智能体,因此安全区域很小,分散,并且随着时间的推移而变化。为了克服这一挑战,我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策,而且在状态空间中选择关注区域,在政策空间中选择大纲区域。随后,低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明,我们的方法可以从早期事件中找到近乎最佳的策略,优于基线分层强化学习方法,特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections
Carnegie Mellon University(卡内基梅隆大学)
穿越交叉路口是自动驾驶车辆面临的一个挑战性问题,特别是在交叉路口没有交通控制的情况下。最近,深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中,我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致:1)强化学习代理的更快的训练过程,以及2)与没有课程训练的代理相比,更好的性能。我们的主要贡献是两方面的:1)提出了一个独特的课程,用于训练深度强化学习代理,和2)显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。
2022-07-10 cs.AI cs.LG cs.RO
Model-free Deep Reinforcement Learning for Urban Autonomous Driving
University of California, Berkeley(加州大学伯克利分校)
城市自动驾驶决策是具有挑战性的,由于复杂的道路几何形状和多智能体的相互作用。目前的决策方法大多是人工设计的驱动策略,这可能会导致次优的解决方案,是昂贵的开发,推广和维护规模。另一方面,通过强化学习(RL),可以自动学习和改进策略,而无需任何手动设计。然而,目前的RL方法一般不工作,以及复杂的城市场景。在本文中,我们提出了一个框架,在具有挑战性的城市自动驾驶场景中实现无模型深度强化学习。我们设计了一个特定的输入表示,并使用视觉编码来捕获低维的潜在状态。我们的框架中实现了几种最先进的无模型深度RL算法,并采用了几种技巧来提高其性能。我们评估我们的方法在一个具有挑战性的迂回任务与密集的周围车辆在一个高清晰度的驾驶模拟器。结果表明,我们的方法可以很好地解决该任务,并且明显优于基线。
2019-10-21 cs.AI cs.CV cs.LG
Learning Personalized Discretionary Lane-Change Initiation for Fully Autonomous Driving Based on Reinforcement Learning
Institute of Industrial Science(产业技术研究所);The University of Tokyo(东京大学)
提出了一种通过人机交互学习全自动车辆自主换道启动的个性化策略的新方法。采用强化学习技术来学习如何从交通环境、自动驾驶车辆的动作和车载用户反馈中启动车道变更,而不是从人类驾驶演示中学习。建议的离线算法奖励的行动选择策略时,用户给予积极的反馈和惩罚时,负反馈。此外,多维驾驶场景被认为是代表一个更现实的车道变化的权衡。结果表明,该方法得到的换道启动模型能够再现个性化的换道策略,且定制模型的性能(平均准确率为86.1%)明显优于非定制模型(平均准确率为75.7%).这种方法允许在完全自动驾驶期间持续改进用户的定制,即使没有人类驾驶经验,这将显著提高用户对自动驾驶车辆高水平自主性的接受程度。
2020-10-29 cs.AI cs.HC cs.LG
Safe, Efficient, Comfort, and Energy-saving Automated Driving through Roundabout Based on Deep Reinforcement Learning
School of Traffic and Transportation, Beijing Jiaotong University(北京交通大学交通运输学院)
本研究利用深度强化学习(DDPG、PPO、TRPO)训练自动驾驶车辆通过环岛,设计多目标奖励函数,并通过层次分析法评估,发现TRPO在安全与效率上最优,且具备跨场景泛化能力。
2023-06-20 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning Based Stochastic Driver Behavior Learning
Texas Tech University(德克萨斯理工大学)
驾驶员在交通中操纵车辆时,有着独特而丰富的驾驶行为。本文提出了一种新的驾驶员行为学习方法,捕捉人类驾驶员行为的独特性和丰富性,在现实的驾驶场景。提出了一种随机逆强化学习(SIRL)方法来学习成本函数的分布,该成本函数表示具有给定的一组驾驶员特定示范的人类驾驶员行为的丰富性。对从3D驾驶员在环驾驶模拟中收集的真实驾驶数据进行评估。结果表明,学习的随机驾驶员模型能够表达人类驾驶策略的丰富性,在不同的现实驾驶场景。与确定性基准驾驶员行为模型相比,结果表明,所提出的随机驾驶员行为模型可以更好地复制驾驶员在各种交通条件下独特而丰富的驾驶策略。
2021-08-05 cs.LG cs.SY eess.SY
Scenario-Based Hierarchical Reinforcement Learning for Automated Driving Decision Making
Reasoning Chair RWTH Aachen University(推理主席 雷姆辛大学);Institute for Automotive Engineering RWTH Aachen University(汽车工程研究所 雷姆辛大学)
本文提出SAD-RL框架,通过分层强化学习结合场景化环境训练自动驾驶决策策略,解决了复杂任务泛化性与学习效率问题,实现安全行为。
2025-06-28 cs.AI cs.LG cs.RO
Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
与流行的模块化框架不同,端到端自动驾驶寻求以集成的方式解决感知,决策和控制问题,这可以更好地适应新场景,更容易大规模推广。然而,现有的端到端方法往往缺乏可解释性,只能处理简单的驾驶任务,如车道保持。在本文中,我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法,该方法能够处理复杂的城市场景。引入了一个顺序的潜在环境模型,并与强化学习过程一起学习。利用该潜在模型,可以生成语义birdeye mask,该语义birdeye mask被强制与当今模块化框架中的某个中间属性连接,以解释学习策略的行为。潜在空间还显著降低了强化学习的样本复杂度。与CARLA中模拟自动驾驶汽车的比较测试表明,我们的方法在周围车辆拥挤的城市场景中的性能占主导地位,包括DQN,DDPG,TD3和SAC。此外,通过掩蔽输出,学习的策略能够更好地解释汽车如何对驾驶环境进行推理。这个工作的代码和视频可以在我们的github repo和项目网站上找到。
2020-07-07 cs.CV cs.LG cs.RO
Developing Driving Strategies Efficiently: A Skill-Based Hierarchical Reinforcement Learning Approach
Bilkent University(毕尔肯大学)
针对强化学习训练驾驶员模型成本高的问题,提出以运动基元为高层动作的基于技能分层驾驶策略,在汇入场景中以更少训练获得优于基线RL的性能。
2023-09-17 cs.AI cs.LG cs.RO
Learning Personalized Driving Styles via Reinforcement Learning from Human Feedback
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海启智研究院);Peking University(北京大学);LiAuto;Tsinghua University(清华大学)
针对生成式轨迹模型难以捕捉个性化驾驶风格的问题,提出人类反馈驱动微调框架TrajHF,结合多条件去噪器与人类反馈强化学习,在NavSim基准上达到最先进性能,实现个性化自适应轨迹生成。
2025-09-26 cs.CV cs.LG cs.RO
Multi-Objective Reinforcement Learning for Adaptable Personalized Autonomous Driving
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉玛尔机器学习与人工智能研究所);Center for Robotics(机器人中心)
本文提出基于多目标强化学习与偏好驱动优化的端到端自动驾驶方法,通过连续权重向量在运行时动态调节效率、舒适性、速度和激进性等驾驶风格,无需重训策略,并在CARLA中验证了其适应能力与安全性。
2025-07-18 cs.CV cs.LG cs.RO
Automated Synthesis of Steady-State Continuous Processes using Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Weihenstephan-Triesdorf University of Applied Sciences(魏恩施蒂芬-特里斯多夫应用科学大学)
流程图自动综合是计算机辅助过程工程的一个重要领域。目前的工作演示了如何强化学习可以用于自动化流程图综合没有任何的概念设计的先验知识的知识。该环境由包含所有物理知识的稳态流程图模拟器组成。代理被训练为采取离散的动作,并顺序地建立解决给定过程问题的流程图。提出了一种新的方法SynGameZero,以确保在复杂问题中的良好的勘探计划。其中,流程图合成被建模为两个竞争的玩家的游戏。智能体在训练过程中与自己进行这种游戏,它由一个人工神经网络和一个用于前瞻性规划的树搜索组成。该方法已成功地应用于四元体系的反应精馏过程。
2021-03-15 cs.AI cs.CE cs.LG
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
行为和运动规划在自动驾驶中起着重要的作用。传统上,行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性,可能会发生不可预测的情况,其中行为规划者无法匹配预定义的行为模板。最近,已经引入了通用规划器,其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而,出现了两个挑战:首先,该函数必须将复杂的特征空间映射到奖励。其次,奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中,我们提出了一种方法,依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外,我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明,我们能够学习奖励函数超过手动专家调整的水平,没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
Driver Assistance Eco-driving and Transmission Control with Deep Reinforcement Learning
Clemson University(克莱姆森大学);Allison Transmission Inc.(艾里逊变速箱公司)
随着减少能源消耗和温室气体排放的需求日益增长,生态驾驶战略为交通运输部门寻求的其他技术解决方案提供了额外节省燃料的重要机会。本文提出了一种无模型的深度强化学习(RL)控制代理,用于主动生态驾驶辅助,将燃料消耗与其他驾驶员适应目标进行权衡,并从经验中学习最佳牵引扭矩和变速器换档策略。所提出的RL代理的训练方案使用了一个离线策略的演员-评论家架构,该架构迭代地进行策略评估,并使用混合动作空间的最大后验策略优化算法进行多步返回和策略改进。建议的生态驾驶RL代理实现的商业车辆在汽车跟随交通。与完全了解燃油效率表的基准控制器相比,它在最大限度地减少燃油消耗方面表现出卓越的性能。
2022-12-15 cs.AI cs.LG cs.SY
Incorporating Voice Instructions in Model-Based Reinforcement Learning for Self-Driving Cars
Georgetown University(乔治城大学)
本文提出了一种新的方法,该方法支持自然语言语音指令,以在训练自动驾驶汽车时指导深度强化学习(DRL)算法。DRL方法是用于自主车辆(AV)代理的流行方法。然而,大多数现有的方法是样本和时间效率低下,缺乏与人类专家的自然沟通渠道。在本文中,新的人类驾驶员如何从人类教练那里学习激励我们研究新的人类在环学习方法和更自然、更平易近人的智能体训练界面。我们建议将自然语言语音指令(NLI)纳入基于模型的深度强化学习,以训练自动驾驶汽车。我们评估所提出的方法与一些国家的最先进的DRL方法在CARLA模拟器。结果表明,NLI可以帮助简化训练过程,并显着提高智能体的学习速度。
2022-06-21 cs.CL cs.CV cs.HC
CLIP-RLDrive: Human-Aligned Autonomous Driving via CLIP-Based Reward Shaping in Reinforcement Learning
Concordia University(康考迪亚大学)
本文提出CLIP-RLDrive框架,通过CLIP视觉语言模型构建基于视觉与文本线索的奖励模型,将自动驾驶决策与人类偏好对齐,解决了复杂城市场景中手动设计强化学习奖励模型的难题。
2024-12-17 cs.AI cs.LG cs.RO
A Hierarchical Architecture for Sequential Decision-Making in Autonomous Driving using Deep Reinforcement Learning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
战术决策是先进驾驶系统的一个关键特征,它包含了几个挑战,例如不确定环境的复杂性和自主系统的可靠性。在这项工作中,我们开发了一个多模态架构,包括环境建模的自我周围和训练一个深度强化学习(DRL)代理,产生一致的性能在随机高速公路驾驶场景。为此,我们将自我周围的占用网格馈送到DRL代理中,并获得高级顺序命令(即车道变换)以将其发送到较低级别的控制器。我们将证明,将自动驾驶问题划分为多层控制架构,使我们能够利用人工智能的力量来单独解决每一层,并实现可接受的可靠性得分。与端到端方法相比,这种架构使我们能够最终获得一个更可靠的系统,可以在实际的自动驾驶汽车中实现。
2019-06-20 cs.AI cs.LG cs.RO
Comprehensive Training and Evaluation on Deep Reinforcement Learning for Automated Driving in Various Simulated Driving Maneuvers
Delft University of Technology(代尔夫特理工大学)
本文在 highway-env 中综合比较 DQN 与 TRPO,设计定制奖励并构建 ComplexRoads,证明 TRPO 可训练适应多种机动的统一自动驾驶模型。
2023-08-18 cs.AI cs.LG cs.RO
Exploring Deep Spiking Neural Networks for Automated Driving Applications
Valeo(法雷奥);Heilbronn University(海尔布隆大学)
神经网络已成为自动驾驶中各种计算机视觉任务的标准模型,包括语义分割,运动目标检测,深度估计,视觉里程计等。常用的神经网络的主要类型是卷积(CNN)和递归(RNN)。尽管嵌入式处理器发展迅速,但功耗和成本仍然是一个瓶颈。脉冲神经网络(SNN)正逐步发展成为具有高效率潜力的低功耗事件驱动硬件架构。在本文中,我们探讨了深度脉冲神经网络(SNN)在自动驾驶应用中的作用。我们概述了SNN的进展,并讨论了它如何能够很好地适合自动驾驶应用。
2019-01-11 cs.CV cs.LG cs.NE
Safe learning-based optimal motion planning for automated driving
Virtual Vehicle Research Center(虚拟车辆研究中心);University of Sarajevo(萨拉热窝大学);Graz University of Technology(格拉茨工业大学)
本文介绍了初步的工作学习搜索启发式的最佳运动规划自动驾驶在城市交通。以前的工作考虑基于搜索的最佳运动规划框架(SBOMP),利用数值或基于模型的算法,不考虑动态障碍。由于动态障碍物只会增加成本,因此仍然保证最优解。然而,观察到的搜索效率的显着变化取决于是否存在动态障碍。本文介绍了机器学习(ML)的启发式,考虑到动态障碍,从而增加了性能的一致性,实现实时实施。
2018-06-13 cs.LG cs.RO stat.ML
Deep Semantic Segmentation for Automated Driving: Taxonomy, Roadmap and Challenges
University of Alberta(阿尔伯塔大学);Valeo Vision Systems(法雷奥视觉系统公司)
几年前,语义分割被认为是一个具有挑战性的计算机视觉问题。由于深度学习的最新进展,现在可以在自动驾驶中使用相对准确的解决方案。本文从自动驾驶的角度对语义分割问题进行了探讨。目前大多数语义分割算法都是针对通用图像设计的,没有结合自动驾驶的先验结构和最终目标。首先,本文从语义分割算法的一般分类调查开始,然后讨论它如何适应自动驾驶的背景。其次,将其部署到一个需要高水平的准确性和鲁棒性的安全系统的特殊挑战。第三,不同的替代品,而不是使用一个独立的语义分割模块进行了探索。最后,在CamVid数据集上对各种语义分割架构的准确性和速度进行了实证评估。本文件是一个初步的更详细的调查,这是一个正在进行的工作较短的版本。
2017-08-03 cs.CV stat.ML
AuxNet: Auxiliary tasks enhanced Semantic Segmentation for Automated Driving
Valeo Troy(法雷奥特洛伊);Valeo Vision Systems(法雷奥视觉系统);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
自动驾驶中的决策是高度特定于环境的,因此语义分割在识别汽车周围环境中的对象方面起着关键作用。像素级分类曾经被认为是一项具有挑战性的任务,现在已经成熟到可以在汽车中产品化。然而,语义标注是耗时且相当昂贵的。具有领域自适应技术的合成数据集已被用于缓解大型注释数据集的缺乏。在这项工作中,我们探索了一种替代方法,利用其他任务的注释,以提高语义分割。最近,多任务学习成为自动驾驶中的一种流行范式,这表明多个任务的联合学习可以提高每个任务的整体性能。受此启发,我们使用辅助任务,如深度估计,以提高性能的语义分割任务。我们提出了自适应任务损失加权技术,以解决规模问题的多任务损失函数,变得更加关键的辅助任务。我们在包括SYNTHIA和KITTI在内的汽车数据集上进行了实验,准确率分别提高了3%和5%。
2019-01-17 cs.CV cs.LG stat.ML
Neurosymbolic Meta-Reinforcement Lookahead Learning Achieves Safe Self-Driving in Non-Stationary Environments
New York University(纽约大学)
提出NUMERLA算法,通过前瞻符号约束的在线元强化学习,实现非平稳城市环境中安全且自适应的自动驾驶。
2023-09-05 cs.AI cs.RO cs.SY