CARLA: An Open Urban Driving Simulator
Computer Vision Center（计算机视觉中心）；Intel Labs（英特尔研究院）；Toyota Research Institute（丰田研究院）
我们介绍CARLA，一个用于自动驾驶研究的开源模拟器。CARLA的开发旨在支持城市自动驾驶系统的开发、培训和验证。除了开源代码和协议外，CARLA还提供开放的数字资产（城市布局，建筑物，车辆），这些资产是为此目的而创建的，可以免费使用。该仿真平台支持灵活的传感器套件和环境条件规范。我们使用CARLA来研究三种自动驾驶方法的性能：经典的模块化管道，通过模仿学习训练的端到端模型，以及通过强化学习训练的端到端模型。这些方法在难度不断增加的受控场景中进行评估，并通过CARLA提供的指标检查其性能，说明该平台在自动驾驶研究中的实用性。补充视频可以在https://youtu.be/Hp8Dz-Zek2E上观看
2017-11-10 cs.AI cs.CV cs.LG
End-to-End Model-Free Reinforcement Learning for Urban Driving using Implicit Affordances
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Valeo Driving Assistance Research Valeo.ai（法雷奥驾驶辅助研究法雷奥人工智能）
强化学习（RL）旨在从自己的实验中学习最优行为策略，而不是基于规则的控制方法。然而，目前还没有RL算法能够处理像城市驾驶这样困难的任务。我们提出了一种新的技术，创造了隐含的启示，有效地利用RL的城市驾驶，从而包括车道保持，行人和车辆回避，交通灯检测。据我们所知，我们是第一个提出一个成功的RL代理处理这样一个复杂的任务，特别是关于交通灯检测。此外，我们通过赢得CARLA挑战赛的Camera Only赛道证明了我们方法的有效性。
2020-03-16 cs.AI cs.CV cs.LG
An Application of Scenario Exploration to Find New Scenarios for the Development and Testing of Automated Driving Systems in Urban Scenarios
FZI Research Center for Information Technology（FZI信息技术研究中心）；IPG Automotive GmbH（IPG汽车有限公司）
验证和确认是开发自动驾驶系统的主要挑战。在自动驾驶测试中，越来越多的人认识到一个概念，那就是基于Asio的测试。然而，它引入了一个问题，即哪些场景与测试相关，哪些场景与测试无关。这项工作的目的是找到相关的，有趣的，或关键的参数集的逻辑方案，利用贝叶斯优化和高斯过程。在两个城市交叉口的场景中，通过比较和评估六种不同的指标来进行参数优化。最后，提出了这项工作产生的以及应该进一步研究的想法清单。
2022-05-17 cs.LG cs.RO cs.SE
Urban Driving with Conditional Imitation Learning
Wayve（Wayve公司）
为现实世界的城市自动驾驶手工制定通用的决策规则是很困难的。另外，从易于收集的人类驾驶示范中学习行为也很有吸引力。先前的工作已经研究了用于自动驾驶的模仿学习（IL），具有许多限制。示例包括仅执行车道跟随而不是遵循用户定义的路线，仅使用单个相机视图或缺乏状态可观察性的严重裁剪的帧，仅横向（转向）控制而不是纵向（速度）控制以及缺乏与交通的交互。重要的是，大多数此类系统主要在模拟中进行评估-这是一个简单的领域，缺乏现实世界的复杂性。出于这些挑战，我们专注于学习的语义，几何和运动表示与计算机视觉IL从人类驾驶示范。作为我们的主要贡献，我们提出了一个端到端的条件模仿学习的方法，结合横向和纵向控制的一个真正的车辆以下的城市路线与简单的交通。我们通过数据平衡来解决固有的数据集偏差，在六个月内收集的大约30小时的演示中训练我们的最终策略。我们通过在欧洲城市街道上行驶35公里的新路线来评估我们在自动驾驶汽车上的方法。
2019-12-05 cs.AI cs.CV cs.LG
Urban Driver: Learning to Drive from Real-world Demonstrations Using Policy Gradients
Woven Planet（Woven Planet（织网星球））；Level 5（Level 5（第五级））
在这项工作中，我们首次提出了一种离线策略梯度方法，用于从大量真实世界的演示中学习复杂城市驾驶的模仿政策。这是通过在感知输出和该地区的高保真高清地图之上构建可区分的数据驱动模拟器来实现的。它允许我们使用中级表示从现有演示中合成新的驾驶体验。然后，使用该模拟器，我们在闭环中采用策略梯度训练策略网络。我们训练我们提出的方法在100小时的专家演示城市道路上，并表明它学习复杂的驾驶政策，概括良好，可以执行各种驾驶机动。我们在模拟中证明了这一点，并将我们的模型部署到现实世界中的自动驾驶车辆上。我们的方法在城市驾驶场景中的表现优于之前展示的最先进技术-所有这些都不需要复杂的状态扰动或在训练期间收集额外的政策数据。我们公开代码和数据。
2021-09-27 cs.AI cs.CV cs.LG
Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
与流行的模块化框架不同，端到端自动驾驶寻求以集成的方式解决感知，决策和控制问题，这可以更好地适应新场景，更容易大规模推广。然而，现有的端到端方法往往缺乏可解释性，只能处理简单的驾驶任务，如车道保持。在本文中，我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法，该方法能够处理复杂的城市场景。引入了一个顺序的潜在环境模型，并与强化学习过程一起学习。利用该潜在模型，可以生成语义birdeye mask，该语义birdeye mask被强制与当今模块化框架中的某个中间属性连接，以解释学习策略的行为。潜在空间还显著降低了强化学习的样本复杂度。与CARLA中模拟自动驾驶汽车的比较测试表明，我们的方法在周围车辆拥挤的城市场景中的性能占主导地位，包括DQN，DDPG，TD3和SAC。此外，通过掩蔽输出，学习的策略能够更好地解释汽车如何对驾驶环境进行推理。这个工作的代码和视频可以在我们的github repo和项目网站上找到。
2020-07-07 cs.CV cs.LG cs.RO
Driving Mechanisms and Forecasting of China's Pet Population-An ARIMA-RF-HW Hybrid Approach
China University of Petroleum - Beijing at Karamay（中国石油大学（北京）克拉玛依校区）；Qingdao University of Technology（青岛理工大学）
本研究构建动态加权ARIMA-RF-HW混合模型，结合多维度指标预测中国宠物数量，明确核心驱动因素及猫狗数量变化趋势，为政策优化与企业布局提供依据。
2025-05-16 cs.LG
Hierarchical Road Topology Learning for Urban Map-less Driving
Mercedes-Benz R&D NA（梅赛德斯-奔驰北美研发中心）
目前自动驾驶的大多数方法都依赖于高清（HD）地图，这些地图详细描述了道路几何形状和周围区域。然而，由于这种现有地图的可扩展性差，这种依赖是大规模部署自动驾驶车辆的障碍之一。在本文中，我们解决了在线道路地图提取的问题，通过利用车辆本身的感官系统。为此，我们设计了一个结构化模型，其中道路网络的图形表示在完全卷积网络中以分层方式生成。该方法能够处理复杂的道路拓扑结构，并且不需要用户在回路中。
2021-03-31 cs.CV cs.LG cs.RO
UrbanMind: Urban Dynamics Prediction with Multifaceted Spatial-Temporal Large Language Models
State University of New York at Binghamton（纽约州立大学布ingham顿分校）；San Diego State University（圣地亚哥州立大学）；University of Electronic Science and Technology of China（电子科技大学）；Worcester Polytechnic Institute（沃思堡理工学院）；Logistics and Supply Chain MultiTech R&D Centre（物流与供应链多技术研发中心）
本文提出UrbanMind框架，通过Muffin-MAE融合掩码自编码器、语义感知提示及测试时自适应机制，实现多面城市动态的准确预测与稳健泛化，并在多城市真实数据集上超越现有方法。
2025-05-22 cs.LG
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Lane Graph Estimation for Scene Understanding in Urban Driving
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究所）
车道级场景注释为自动驾驶车辆在城市地区和城市等复杂环境中的轨迹规划提供了宝贵的数据。然而，获得这样的数据是耗时且昂贵的，因为车道注释必须由人类手动注释，并且因此难以扩展到大的区域。在这项工作中，我们提出了一种新的方法，从鸟瞰图像车道几何估计。我们制定的车道形状和车道连接估计的问题作为一个图形估计问题，其中车道锚点是图节点和车道段是图的边缘。我们训练一个图形估计模型的多模态鸟瞰图数据处理从流行的NuScenes数据集及其地图扩展包。此外，我们估计每个车道段的车道连接的方向与一个单独的模型，从而在有向车道图。我们说明了LaneGraphNet模型在具有挑战性的NuScenes数据集上的性能，并提供了广泛的定性和定量评估。我们的模型在大多数经过评估的城市场景中表现出了良好的性能，可以作为自动生成自动驾驶高清车道注释的一步。
2021-05-01 cs.CV cs.LG cs.RO
Tractable Joint Prediction and Planning over Discrete Behavior Modes for Urban Driving
Carnegie Mellon University（卡内基梅隆大学）
针对自动驾驶多模态预测与下游规划融合难题，提出基于离散隐式行为模式的全响应式闭环规划方法，无需重训预测模型，可建模智能体因果交互，在汇入和密集交通场景中表现优于现有方法。
2024-03-12 cs.LG cs.RO
Sample, Crop, Track: Self-Supervised Mobile 3D Object Detection for Urban Driving LiDAR
University of Oxford（牛津大学）
近年来，深度学习在城市驾驶场景中的移动（即，具有移动能力）对象的检测方面取得了很大进展。监督方法通常需要对大型训练集进行注释;因此，人们对利用弱监督、半监督或自监督方法来避免这种情况非常感兴趣，并取得了很大的成功。虽然弱监督和半监督方法需要一些注释，但自监督方法使用了运动等线索来完全消除对注释的需求。然而，注释的完全缺失通常会降低它们的性能，并且在运动分组期间出现的歧义会抑制它们找到准确对象边界的能力。在本文中，我们提出了一种新的自监督移动目标检测方法称为SCT。这使用运动线索和预期的对象大小来提高检测性能，并预测3D定向边界框的密集网格来提高对象发现。在KITTI跟踪基准测试中，我们的性能明显优于最先进的自监督移动目标检测方法TCR，并且对于IoU <= 0.5，性能在完全监督PV-RCNN++方法的30%以内。
2022-09-21 cs.CV cs.LG cs.RO
Watch This: Scalable Cost-Function Learning for Path Planning in Urban Environments
University of Oxford（牛津大学）
在这项工作中，我们提出了一种方法来学习成本地图驾驶在复杂的城市环境中，从大量的驾驶行为的演示由人类专家。学习的成本图直接从原始传感器测量构建，绕过了手动设计成本图和特征的工作。当部署学习的成本地图时，生成的轨迹不仅复制了类似人类的驾驶行为，而且对假定的机器人配置中的系统错误具有明显的鲁棒性。为了实现这一目标，我们部署了一个基于最大熵的非线性IRL框架，该框架使用全卷积神经网络（FCN）来表示专家驾驶行为的成本模型。使用深度的参数化方法使我们能够在部署期间通过运行时独立于数据集范围来有效地扩展到大型数据集和复杂行为。我们展示了所提出的方法的可扩展性和性能的一个雄心勃勃的数据集收集了一年的过程中，包括超过25K演示轨迹提取超过120公里的驾驶周围的区域在城市米尔顿凯恩斯，英国。我们评估所产生的成本表示显示的优势，一个精心手工设计的成本地图，此外，证明其鲁棒性的系统误差，通过学习精确的成本地图，即使在存在系统校准扰动。
2016-07-08 cs.LG cs.RO
TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning
Motional
TreeIRL结合蒙特卡洛树搜索与逆强化学习，在仿真和500多英里真实道路测试中实现安全、高效且类人的自动驾驶规划，为城市驾驶规划提供新方案。
2025-10-25 cs.AI cs.LG cs.RO
Affordance-based Reinforcement Learning for Urban Driving
Carnegie Mellon University（卡内基梅隆大学）
遵循模块化方法的传统自动驾驶汽车管道过去在学术界和工业界都非常成功，这导致了道路上的自动驾驶。虽然这种方法提供了方便的解释，其推广到看不见的环境是有限的，需要手工设计的许多参数，特别是在预测和规划系统。最近，深度强化学习已被证明可以学习复杂的战略游戏并执行具有挑战性的机器人任务，这为学习驾驶提供了一个有吸引力的框架。在这项工作中，我们提出了一个深度强化学习框架，使用航点和低维视觉表示（也称为启示）来学习最优控制策略。我们证明，我们的代理从零开始训练时学习的任务车道跟踪，驾驶周围的交叉路口，以及停止在前面的其他演员或交通灯，即使在密集的交通设置。我们注意到，我们的方法在CARLA模拟器上实现了与原始基准方法和NoCrash基准方法相当或更好的性能。
2021-01-15 cs.AI cs.LG cs.RO
Human Driver Behavior Prediction based on UrbanFlow
Carnegie Mellon University（卡内基梅隆大学）；General Motors（通用汽车）
自动驾驶汽车和人类驾驶员如何共享公共交通系统是一个重要的问题，因为全自动交通环境还有很长的路要走。理解人类驾驶员的行为可以有利于自主车辆的决策和规划，特别是当自主车辆被具有各种驾驶行为和与其他车辆交互模式的人类驾驶员包围时。在本文中，我们提出了一种基于LSTM的轨迹预测方法，为人类驾驶员，可以帮助自动驾驶汽车做出更好的决策，特别是在城市交叉口的场景。同时，为了收集人类驾驶员在城市场景中的驾驶行为数据，我们描述了一个名为UrbanFlow的系统，该系统包括通过无人机从原始鸟瞰图数据汇集到最终处理轨迹的整个过程。该系统主要用于城市场景，但可以扩展到用于任何交通场景。
2019-11-09 cs.LG cs.RO
Universal Semantic Segmentation for Fisheye Urban Driving Images
Zhejiang University（浙江大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语义分割是自动驾驶领域的一种重要方法。在进行语义图像分割时，更宽的视场（FoV）有助于获得更多关于周围环境的信息，使自动驾驶更安全，更可靠，这可以通过鱼眼相机提供。然而，由于没有大规模的公共鱼眼数据集，且鱼眼相机拍摄的鱼眼图像具有较大的FoV，畸变较大，无法直接使用常用的语义分割模型。本文提出了一种七自由度（DoF）增强方法，以更全面的方式将直线图像转换为鱼眼图像。在训练过程中，直线图像被转换成鱼眼图像在七个自由度，这模拟了鱼眼图像拍摄的相机的不同位置，方向和焦距。实验结果表明，七自由度增强训练可以提高模型的精度和对不同畸变鱼眼数据的鲁棒性。这种七自由度增强为不同自动驾驶应用中的鱼眼相机提供了通用的语义分割解决方案。此外，我们还提供了自动驾驶增强的具体参数设置。最后，我们在真实的鱼眼图像上测试了我们的通用语义分割模型，取得了令人满意的结果。代码和配置在www.example.com上发布。
2020-08-24 cs.CV cs.LG stat.ML
Masked Modeling Duo: Learning Representations by Encouraging Both Networks to Model the Input
NTT Corporation（日本电报电话公司）
Masked Autoencoders是一种简单而强大的自监督学习方法。然而，它通过重建掩码输入补丁间接学习表示。有几种方法直接通过预测掩码补丁的表示来学习表示;然而，我们认为使用所有补丁来编码训练信号表示是次优的。我们提出了一种新的方法，Masked Modeling Duo（M2D），该方法直接学习表示，同时仅使用掩码补丁获得训练信号。在M2D中，在线网络对可见补丁进行编码并预测掩码补丁表示，目标网络（动量编码器）对掩码补丁进行编码。为了更好地预测目标表征，在线网络应该很好地模拟输入，而目标网络也应该很好地模拟输入，以符合在线预测。然后，学习的表示应该更好地模拟输入。我们通过学习通用音频表示来验证M2D，M2D在UrbanSound8K，VoxCeleb1，AudioSet20K，GTZAN和SpeechCommandsV2等任务上设置了新的最先进的性能。我们还在附录中使用ImageNet-1K验证了M2D对图像的有效性。
2023-03-02 cs.CV cs.LG cs.SD
LearningFlow: Automated Policy Learning Workflow for Urban Driving with Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本文提出 LearningFlow，通过多个 LLM 智能体协作自动生成训练课程与奖励函数，减少人工设计并提升样本效率，在 CARLA 中验证了其性能、泛化与算法适应性。
2025-01-09 cs.AI cs.LG cs.RO
Hybrid Imitation-Learning Motion Planner for Urban Driving
Computer Science and Technology, Xi’an Jiaotong University（计算机科学与技术，西安交通大学）
本文提出一种混合运动规划器，结合模仿学习与优化技术，以平衡城市驾驶中的安全性与人类相似性，并通过仿真和实车验证其有效性。
2025-04-19 cs.AI cs.LG cs.RO
RLAD: Reinforcement Learning from Pixels for Autonomous Driving in Urban Environments
University of Aveiro（阿威罗大学）；Intelligent System Associate Laboratory (LASI)（智能系统联合实验室（LASI））；Institute of Electronics and Informatics Engineering of Aveiro (IEETA)（阿威罗电子与信息工程研究所（IEETA））
针对城市自动驾驶中感知与策略解耦的强化学习方法存在环境表征与任务不匹配的问题，提出融合多项优化技术的像素级强化学习方法RLAD，在NoCrash基准上性能超越现有SOTA方法。
2023-05-29 cs.AI cs.CV cs.LG
VTGNet: A Vision-based Trajectory Generation Network for Autonomous Vehicles in Urban Environments
Hong Kong University of Science and Technology（香港科技大学）
传统的自动驾驶方法是通过感知、规划和控制的许多构建模块来实现的，由于复杂的假设和相互依赖性，它们很难推广到各种场景。最近，出现了端到端驱动方法，该方法通过直接从出口提供的数据中学习，性能良好并可推广到新的环境。然而，许多现有的方法在这个话题上忽略了检查驾驶行为的信心和从驾驶错误中恢复的能力。本文提出了一种基于模仿学习的不确定性感知的端到端轨迹生成方法。它可以从前视摄像机图像中提取时空特征用于场景理解，然后生成未来几秒钟的无碰撞轨迹。实验结果表明，在各种天气和光照条件下，我们的网络可以在不同的城市环境中可靠地生成轨迹，例如在十字路口转弯和减速以避免碰撞。此外，闭环驾驶测试表明，所提出的方法实现了更好的跨场景/平台的驾驶结果比国家的最先进的（SOTA）端到端的控制方法，其中我们的模型可以从偏离中心和偏离方向的错误，并捕获80%的危险情况下，高不确定性估计。
2020-10-23 cs.CV cs.LG cs.RO
Conditional Affordance Learning for Driving in Urban Environments
Chair of Robotics Science and System Intelligence, Technical University of Munich（慕尼黑技术大学机器人科学与系统智能系）
本文提出了一种直接感知方法，通过将视频输入映射到适合复杂城市环境自主导航的中间表示，结合高层方向输入，实现了比现有强化学习和条件模仿学习方法更高的目标导向导航性能，并首次通过图像级标签处理交通灯和速度标志，显著减少模拟中的交通事故。
2018-11-03 cs.LG cs.RO cs.SY
Generative Adversarial Imitation Learning for End-to-End Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
自动驾驶是一项复杂的任务，自1989年第一辆自动驾驶汽车ALVINN以来，人们一直在使用监督学习方法或行为克隆（BC）来解决这个问题。在BC中，神经网络用构成由专家制作的训练集的状态-动作对来训练，即，人类司机然而，这种类型的模仿学习没有考虑在导航轨迹的不同时刻采取的动作之间可能存在的时间依赖性。这些类型的任务更好地由强化学习（RL）算法处理，该算法需要定义奖励函数。另一方面，最近的模仿学习方法，如生成对抗模仿学习（GAIL），可以训练策略，而无需明确要求定义奖励函数，允许代理直接在专家轨迹的训练集上通过试错来学习。在这项工作中，我们提出了两个变化的GAIL自主导航的车辆在现实的CARLA模拟环境中的城市场景。它们都使用相同的网络架构，处理来自三个前置摄像头的高维图像输入，以及代表速度的其他九个连续输入，稀疏轨迹的下一个点和高级驾驶命令。我们表明，它们都能够在训练结束后从头到尾模仿专家轨迹，但用BC增强的GAIL损失函数在收敛时间和训练稳定性方面优于前者。
2021-10-16 cs.AI cs.LG cs.RO
CORAL: Curriculum-Optimized Reward Adaptation for LiDAR-Based Goal-Directed Urban Driving
Korea University of Technology and Education (KOREATECH)（韩国技术教育大学）
CORAL结合五阶段课程与阶段感知奖励，在CARLA中训练多流演员-评论家策略，实现基于激光雷达的城市驾驶，长路线约束下成功率显著优于PPO基线，且可零样本跨城镇迁移。
2026-08-17 cs.LG cs.RO
Modeling of New Energy Vehicles' Impact on Urban Ecology Focusing on Behavior
Beijing Jiaotong University（北京交通大学）
本文提出环境计算建模方法，利用带贝叶斯优化器的LSTM扩展车辆全生命周期与生态环境时序数据，评估不良驾驶行为对城市生态的负面影响。
2024-06-06 cs.LG cs.SY eess.SY
Toward Unsupervised Test Scenario Extraction for Automated Driving Systems from Urban Naturalistic Road Traffic Data
Opel Automobile GmbH（欧宝汽车有限公司）；Stellantis NV（斯泰兰蒂斯集团）；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出无监督机器学习流水线，从城市自然驾驶数据中提取多模态测试场景，并基于 inD 与 Silicon Valley Intersections 比较聚类方法，揭示层次聚类的准确率跃升与饱和规律。
2023-04-21 cs.LG cs.SE
Multi-agent Interactive Prediction under Challenging Driving Scenarios
为了在道路上安全行驶，自动驾驶汽车被期望预测其周围环境的未来结果并做出适当的反应。事实上，许多研究人员一直专注于解决自动驾驶汽车的行为预测问题。然而，很少有人考虑在具有挑战性的驾驶场景，如城市环境下的多智能体预测。在本文中，我们提出了一种预测方法，能够预测各种复杂的驾驶场景，异构的道路实体，信号灯，静态地图信息被考虑在内。此外，建议的多智能体交互式预测（MAIP）系统是能够同时预测任何数量的道路实体，同时考虑他们的相互作用。一个模拟的具有挑战性的城市交叉口的情况下，提供了一个案例研究，以证明所提出的预测系统的性能和能力。
2020-11-10 cs.LG cs.MA cs.RO
Imagination-Augmented Hierarchical Reinforcement Learning for Safe and Interactive Autonomous Driving in Urban Environments
Seoul National University（首尔大学）
本文提出想象力增强型分层强化学习（IAHRL），通过低层策略想象安全行为、高层策略推断交互并引入排列不变注意力机制，在五个复杂城市驾驶任务中实现了更高的成功率和更低的平均回合步数。
2024-01-23 cs.LG cs.RO
A Fine-Grained Dataset and its Efficient Semantic Segmentation for Unstructured Driving Scenarios
Bundeswehr University Munich（慕尼黑联邦国防军大学）；Institute for Autonomous Systems Technology（自主系统技术研究所）
与城市相比，非结构化环境下的自动驾驶研究缺乏语义标记的数据集。城市和非结构化的户外环境是具有挑战性的，由于不同的照明和天气条件在一天和不同的季节。在本文中，我们介绍了TAS500，一种新的语义分割数据集，用于非结构化环境中的自动驾驶。TAS500提供了精细的植被和地形类，以有效地了解户外场景中的可驾驶表面和自然障碍物。我们评估了现代语义分割模型的性能，并额外关注其效率。我们的实验证明了细粒度语义类的优势，以提高整体的预测精度，特别是沿类边界。数据集和预训练模型可在mucar3.de/icpr2020-tas500上获得。
2021-03-24 cs.CV cs.LG
MIDAS: Multi-agent Interaction-aware Decision-making with Adaptive Strategies for Urban Autonomous Navigation
Nuro, Inc.（Nuro公司）；University of Pennsylvania（宾夕法尼亚大学）
在拥挤、复杂的城市环境中进行自主导航需要与道路上的其他智能体进行交互。这个问题的一个常见解决方案是使用预测模型来猜测其他代理可能的未来行为。虽然这是合理的，但它会导致过于保守的计划，因为它没有明确地模拟交互代理的行为的相互影响。本文建立了一个强化学习为基础的方法命名为MIDAS自我代理学习影响其他汽车在城市驾驶场景中的控制动作。MIDAS使用注意力机制来处理任意数量的其他代理，并包括一个“驱动程序类型”参数来学习跨不同规划目标工作的单个策略。我们建立了一个模拟环境，使不同的互动实验与大量的代理和方法定量研究的安全性，效率和车辆之间的互动。MIDAS使用广泛的实验进行验证，我们表明，它（一）可以在不同的道路几何形状，（二）结果在一个自适应的自我政策，可以很容易地调整，以满足性能标准，如积极或谨慎的驾驶，（三）是强大的外部代理的驾驶政策的变化，（四）是更有效和更安全的比现有的方法，以交互感知决策。
2021-03-23 cs.LG cs.RO stat.ML
Hierarchical Generative Adversarial Imitation Learning with Mid-level Input Generation for Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出分层生成对抗模仿学习架构hGAIL，通过GAN生成鸟瞰视图中层表示并与GAIL联合训练，解决城市自动驾驶中从原始图像直接学习控制策略不稳定的问题，在CARLA中实现跨城市98%交叉口成功导航。
2024-09-05 cs.AI cs.LG cs.RO
Driving Policy Transfer via Modularity and Abstraction
KAUST（阿卜杜拉国王科技大学）；Intel Labs（英特尔实验室）
自动驾驶的端到端方法具有很高的样本复杂性，并且难以扩展到现实的城市驾驶。仿真可以通过提供廉价，安全和多样化的培训环境来帮助端到端的驾驶系统。然而，在模拟中训练驱动政策带来了将这些政策转移到现实世界的问题。我们提出了一种方法，通过模块化和抽象的驾驶政策从模拟到现实。我们的方法受到经典驾驶系统的启发，旨在结合模块化架构和端到端深度学习方法的优势。关键思想是封装驾驶策略，使其不直接暴露于原始感知输入或低级别车辆动态。我们评估所提出的方法在模拟城市环境和现实世界中。特别是，我们将模拟训练的驾驶策略转移到1/5比例的机器人卡车上，该卡车部署在两大洲的各种条件下，没有微调。补充视频可以在https://youtu.be/BrMDJqI6H5U上观看
2018-12-13 cs.CV cs.LG cs.RO
Learning End-to-end Autonomous Driving using Guided Auxiliary Supervision
Intel Corporation（英特尔公司）
在高度随机的城市环境中学习忠实驾驶仍然是一个悬而未决的问题。为此，我们提出了一个多任务示教学习（MT-LfD）框架，它使用监督辅助任务预测来指导预测驾驶命令的主要任务。我们的框架包括一个端到端的可训练网络，用于模仿专家演示者的驾驶命令。网络通过直接监督间接预测视觉启示和动作原语，提供上述辅助监督指导。我们证明了这种联合学习和监督指导有利于分层任务分解，帮助代理更快地学习，实现更好的驾驶性能，并增加了其他黑盒子端到端网络的透明度。我们运行我们的实验，以验证MT-LfD框架在CARLA，一个开源的城市驾驶模拟器。我们在CARLA中引入多个非玩家代理，并在其中引入时间噪声以实现真实的随机性。
2018-08-30 cs.AI cs.CV cs.LG
Find Your Own Way: Weakly-Supervised Segmentation of Path Proposals for Urban Autonomy
Oxford Robotics Institute, Dept. Engineering Science, University of Oxford（牛津大学工程科学系牛津机器人研究所）
我们提出了一种弱监督的方法来分割图像中的可驾驶路径，其目标是在复杂的城市环境中实现自动驾驶。使用从数据汇集车辆记录的路线，我们提出的方法生成大量的标记图像，其中包含建议的路径和障碍物，而不需要手动注释，然后我们用它来训练深度语义分割网络。使用经过训练的网络，我们可以在运行时使用仅配备单目摄像机的车辆分割建议的路径和障碍物，而无需依赖于道路或车道标记的显式建模。我们在大规模KITTI和Oxford RobotCar数据集上评估了我们的方法，并在各种照明，天气和交通条件下的各种环境中展示了可靠的路径建议和障碍物分割。我们说明了该方法如何推广到交叉路口的多路径建议，并概述了将该系统纳入城市自动驾驶框架的计划。
2017-11-17 cs.AI cs.CV cs.LG
Ethics-Aware Safe Reinforcement Learning for Rare-Event Risk Control in Interactive Urban Driving
Chair of Econometrics and Statistics Corresponding author esp. in the Transport Sector（计量经济学与统计学教授职位（交通运输领域特别对应作者））；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能研究中心（ScaDS.AI））
本文提出一种伦理感知的分层安全强化学习框架，结合复合伦理风险代价和优先经验回放，在保护弱势道路使用者的同时降低冲突频率25-45%，并保持舒适性。
2025-11-07 cs.AI cs.LG cs.RO
Augmenting Reinforcement Learning with Transformer-based Scene Representation Learning for Decision-making of Autonomous Driving
Nanyang Technological University（南洋理工大学）
针对城市自动驾驶强化学习决策样本效率低、适应性差的问题，提出Scene-Rep Transformer方法，通过多阶段Transformer编码交互与意图、序列潜在Transformer蒸馏未来预测信息，提升SAC决策的数据效率与成功率、安全性等性能。
2023-08-25 cs.AI cs.LG cs.RO
Vision Transformer for Learning Driving Policies in Complex Multi-Agent Environments
School of Electrical Engineering, Aalto University（阿尔托大学电气工程学院）
在复杂的城市环境中驾驶是一项艰巨的任务，需要复杂的决策策略。为了做出明智的决定，人们需要了解长期背景和其他车辆的重要性。在这项工作中，我们建议使用视觉Transformer（ViT）学习驾驶政策，在城市设置与鸟瞰（BEV）输入图像。ViT网络比早期提出的卷积神经网络（ConvNets）更有效地学习场景的全局上下文。此外，ViT的注意力机制有助于学习场景的注意力地图，这使得自我汽车能够确定哪些周围的汽车对其下一个决定很重要。我们证明了具有ViT骨干的DQN代理优于具有以各种方式预训练的ConvNet骨干的基线算法。特别是，所提出的方法有助于强化学习算法更快地学习，提高性能，减少数据比基线。
2021-09-14 cs.AI cs.LG cs.MA
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
如何将互补传感器的表示集成到自动驾驶中？基于几何特征的传感器融合在诸如目标检测和运动预测等感知任务中显示出巨大的前景。然而，对于实际驾驶任务，3D场景的全局上下文是关键，例如交通灯状态的变化可能会影响在几何上远离该交通灯的车辆的行为。因此，单独的几何形状可能不足以有效地融合端到端驾驶模型中的表示。在这项工作中，我们证明了模仿学习政策的基础上现有的传感器融合方法下执行的动态代理和复杂的情况下，需要全局上下文推理，如处理交通迎面而来的多个方向在不受控制的十字路口的存在下。因此，我们提出了transFuser，一种新的多模态融合Transformer，集成图像和激光雷达表示使用注意。我们的实验验证了我们的方法在城市环境中的有效性，涉及复杂的情况下，使用CARLA城市驾驶模拟器。我们的方法实现了最先进的驾驶性能，同时与基于几何的融合相比，减少了76%的碰撞。
2021-04-19 cs.AI cs.CV cs.LG
