CCIL: Context-conditioned imitation learning for urban driving
The University of Hong Kong（香港大学）；Alibaba Group（阿里巴巴集团）
针对城市自动驾驶中行为克隆的协变量偏移问题，提出上下文条件模仿学习方法与自车扰动目标导向坐标系，在Lyft和nuPlan数据集上性能优于现有最优方法。
2023-05-04 cs.RO
Yaw-Guided Imitation Learning for Autonomous Driving in Urban Environments
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Macau（澳门大学）
现有的模仿学习方法在解决城市环境下的道路选择问题时存在学习效率低、泛化能力差的问题。在本文中，我们提出了一种偏航引导的模仿学习方法，以提高道路选择性能的端到端的自动驾驶模式的效率，利用训练样本和适应不断变化的环境。具体地，偏航信息由导航地图的轨迹提供。我们的端到端架构，Yaw-guided模仿学习与ResNet 34 Attention（YILRatt），集成了ResNet 34骨干和注意力机制，以获得准确的感知。它不需要高精度的地图，并通过消费级GPS接收器提供的偏航信息实现完全的端到端自动驾驶。通过分析注意力热图，我们可以揭示决策和场景感知之间的因果关系，特别是错误感知导致的失败案例。我们在Carla 0.9.11模拟器中收集专家经验，并改进基准测试CoRL 2017和NoCrash。实验结果表明，YILRatt算法比SOTA CILRS算法提高了26.27%的成功率.代码、数据集、基准测试和实验结果可以在https://github.com/Yandong024/Yaw-guided-IL.git上找到
2021-11-11 cs.RO
SHAIL: Safety-Aware Hierarchical Adversarial Imitation Learning for Autonomous Driving in Urban Environments
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Stanford University（斯坦福大学）
针对复杂城市场景自动驾驶决策难题，提出SHAIL分层对抗模仿学习方法，通过高层策略选择底层控制器实现同策略模仿，在基于真实数据的环岛模拟器上验证了优于传统方法的效果。
2023-06-10 cs.RO
A Graph-based Adversarial Imitation Learning Framework for Reliable & Realtime Fleet Scheduling in Urban Air Mobility
University at Buffalo（布法罗大学）
针对城市空中交通机队调度中整数非线性规划难以直接求解且纯强化学习策略脆弱的问题，本文提出结合遗传算法专家演示与图神经网络、Transformer和多头注意力的生成对抗式模仿学习方法，在8个垂直起降场和40架飞机的仿真中提升了平均收益及最坏场景下的可靠性。
2024-09-05 cs.AI cs.LG cs.MA
PP-TIL: Personalized Planning for Autonomous Driving with Instance-based Transfer Imitation Learning
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Carleton University（卡尔顿大学）
针对个性化驾驶规划中用户数据稀疏导致的过拟合问题，提出基于实例的迁移模仿学习方法，利用专家数据预训练、用户风格正则化微调，并结合可微非线性优化器提升安全规划性能。
2024-08-04 cs.AI cs.LG cs.RO
Keyframe-Focused Visual Imitation Learning
Tsinghua University（清华大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）；Shanghai Qi Zhi Institute（上海期智研究院）
模仿学习通过模仿预先录制的专家演示来训练控制策略。在部分可观察的环境中，模仿政策必须依赖于观察历史，但许多看似矛盾的结果表明，只有访问最近的观察政策更好的性能。最近的解决方案，从因果图学习到深度信息瓶颈，都显示出了有希望的结果，但未能扩展到视觉模仿等现实环境。我们提出了一个解决方案，通过增加与专家动作变点相对应的演示关键帧的权重，优于这些先前的方法。这种简单的方法很容易扩展到复杂的视觉模仿设置。我们的实验结果表明，在基于图像的健身房MuJoCo连续控制任务的所有基线上，性能得到了一致的改善。最后，在CARLA逼真的视觉为基础的城市驾驶模拟器，我们解决了一个长期存在的问题，在驾驶行为克隆从观察历史证明有效的模仿。补充材料和代码：\url{https://tinyurl.com/imitation-keyframes}。
2021-06-11 cs.LG cs.RO
DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
Nanyang Technological University（南洋理工大学）；Desay SV Automotive（德赛西威汽车）
DecompGAIL通过分解多智能体生成对抗模仿学习方法，解决多智能体设置中GAIL的不稳定性问题，提升交通行为的真实性和整体性能。
2026-01-26 cs.AI cs.LG cs.RO
Conditional Vehicle Trajectories Prediction in CARLA Urban Environment
Valeo Driving Assistance Research（法雷奥驾驶辅助研究）
模仿学习对于自动驾驶来说越来越成功。端到端（原始信号到命令）在相对简单的任务（车道保持和导航）上表现良好。中到中（环境抽象到中级轨迹表示）或直接感知（原始信号到性能）方法致力于处理更复杂的现实生活环境和任务（例如复杂的交叉路口）。在这项工作中，我们表明，复杂的城市情况下，可以处理原始信号输入和中级表示。我们建立了一个混合端到中间的方法预测轨迹的邻居车辆和自我车辆的条件导航目标。我们提出了一个受社会池LSTM启发的原始架构，将低层和中层数据作为输入，并将轨迹作为时间的多项式。我们引入了一个标签增强机制，以获得控制车辆所需的泛化水平。在CARLA 0.8基准上评估了性能，显示出比先前公布的最新技术水平有显著改进。
2019-09-02 cs.AI cs.RO
Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios
Waymo Research（Waymo研究院）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文提出将模仿学习与简单奖励的强化学习相结合，利用超10万英里真实驾驶数据训练策略，在最困难场景中将失败率降低超38%，显著提升自动驾驶安全性与鲁棒性。
2023-08-10 cs.AI cs.RO
Hierarchical Model-Based Imitation Learning for Planning in Autonomous Driving
Waymo（Waymo公司）
我们展示了基于模型的生成对抗模仿学习（MGAIL）在密集城市自动驾驶任务中的首次大规模应用。我们增加标准MGAIL使用层次模型，使泛化到任意目标路线，并使用模拟交互式代理的闭环评估框架来衡量性能。我们从在旧金山行驶超过10万英里的真实车辆收集的专家轨迹中训练训练策略，并展示了一种可操纵的策略，即使在zero-shot设置中也可以稳健地导航，推广到具有现实驾驶中从未发生过的新目标的合成场景。我们还证明了混合闭环MGAIL损失与开环行为克隆损失的重要性，并显示我们的最佳策略方法的专家的性能。我们评估我们的模仿模型在平均和具有挑战性的情况下，并显示它如何可以作为一个有用的计划成功的轨迹之前。
2022-10-18 cs.AI cs.LG cs.RO
DeFIX: Detecting and Fixing Failure Scenarios with Reinforcement Learning in Imitation Learning Based Autonomous Driving
Istanbul Technical University（伊斯坦布尔理工大学）；Eatron Technologies
DeFIX通过持续提取模仿学习智能体的违规失败场景并训练强化学习智能体修复缺陷，配合策略分类器动态选择策略，在CARLA Town05上达到或超越现有自动驾驶基准。
2022-10-29 cs.AI cs.CV cs.LG
Follow-Me in Micro-Mobility with End-to-End Imitation Learning
本文研究自主微出行平台在动态拥挤环境中的用户舒适度优化问题，提出基于端到端模仿学习的控制器，并在DAAV自主轮椅跟随模式中验证其达到最先进舒适度，同时分析多种神经网络架构的生产级部署可行性。
2025-11-07 cs.LG cs.RO
CARLA: An Open Urban Driving Simulator
Computer Vision Center（计算机视觉中心）；Intel Labs（英特尔研究院）；Toyota Research Institute（丰田研究院）
我们介绍CARLA，一个用于自动驾驶研究的开源模拟器。CARLA的开发旨在支持城市自动驾驶系统的开发、培训和验证。除了开源代码和协议外，CARLA还提供开放的数字资产（城市布局，建筑物，车辆），这些资产是为此目的而创建的，可以免费使用。该仿真平台支持灵活的传感器套件和环境条件规范。我们使用CARLA来研究三种自动驾驶方法的性能：经典的模块化管道，通过模仿学习训练的端到端模型，以及通过强化学习训练的端到端模型。这些方法在难度不断增加的受控场景中进行评估，并通过CARLA提供的指标检查其性能，说明该平台在自动驾驶研究中的实用性。补充视频可以在https://youtu.be/Hp8Dz-Zek2E上观看
2017-11-10 cs.AI cs.CV cs.LG
End-to-end Driving via Conditional Imitation Learning
Intel Labs（英特尔实验室）；Computer Vision Center & Univ. Autonoma de Barcelona（计算机视觉中心与巴塞罗那自治大学）；King Abdullah University of Science & Technology（阿卜杜拉国王科技大学）
经过人类驾驶示范训练的深度网络已经学会了跟随道路并避开障碍物。然而，通过模仿学习训练的驾驶策略在测试时不能被控制。经过端到端训练以模仿专家的车辆无法被引导在即将到来的十字路口进行特定转弯。这限制了这种系统的实用性。我们建议将模仿学习置于高水平的指令输入之上。在测试时，学习的驾驶策略作为一个司机，处理感觉运动协调，但继续响应导航命令。我们评估不同的架构，有条件的模仿学习在基于视觉的驾驶。我们进行实验，在现实的三维模拟城市驾驶和1/5规模的机器人卡车，训练驾驶在住宅区。这两个系统都基于视觉输入进行驾驶，但仍能对高级导航命令做出响应。补充视频可以在https://youtu.be/cFtnflNe5fM上观看
2018-03-02 cs.CV cs.LG cs.RO
Conditional Affordance Learning for Driving in Urban Environments
Chair of Robotics Science and System Intelligence, Technical University of Munich（慕尼黑技术大学机器人科学与系统智能系）
本文提出了一种直接感知方法，通过将视频输入映射到适合复杂城市环境自主导航的中间表示，结合高层方向输入，实现了比现有强化学习和条件模仿学习方法更高的目标导向导航性能，并首次通过图像级标签处理交通灯和速度标志，显著减少模拟中的交通事故。
2018-11-03 cs.LG cs.RO cs.SY
Learning Sidewalk Autopilot from Multi-Scale Imitation with Corrective Behavior Expansion
Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Coco Robotics（Coco机器人）
本文提出通过纠正行为扩展和多尺度模仿学习提升人行道微出行的鲁棒性和泛化能力，通过数据和模型双重改进解决传统模仿学习的局限。
2026-03-23 cs.CV cs.RO
TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning
Motional
TreeIRL结合蒙特卡洛树搜索与逆强化学习，在仿真和500多英里真实道路测试中实现安全、高效且类人的自动驾驶规划，为城市驾驶规划提供新方案。
2025-10-25 cs.AI cs.LG cs.RO
Long-term Microscopic Traffic Simulation with History-Masked Multi-agent Imitation Learning
The University of Hong Kong（香港大学）；Alibaba Group（阿里巴巴集团）；University of Memphis（孟菲斯大学）
针对基于学习的微观交通仿真器因协变量偏移难以生成稳定长期仿真这一问题，提出历史掩蔽多智能体模仿学习方法，通过移除历史轨迹并对当前位置施加扰动，在真实大规模数据集上实现了优于基线的短期微观与长期宏观仿真效果。
2023-11-20 cs.RO
HTNav: A Hybrid Navigation Framework with Tiered Structure for Urban Aerial Vision-and-Language Navigation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（教育部脑机智能技术重点实验室）
本文提出HTNav框架，结合模仿学习与强化学习，通过分层决策机制提升复杂城市环境中的导航精度与鲁棒性。
2026-04-10 cs.AI cs.RO
Dynamic Conditional Imitation Learning for Autonomous Driving
The American University in Cairo（开罗美国大学）；Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Valeo Egypt（法雷奥埃及公司）
条件模仿学习（CIL）以端到端的方式训练深度神经网络，以模仿人类驾驶。这种方法已经证明了在遵循道路、避开障碍物或在十字路口转弯以到达目的地时适当的车辆控制。不幸的是，当部署到看不见的环境中时，性能会急剧下降，并且在不同的天气条件下不一致。最重要的是，目前的CIL未能避免静态道路堵塞。在这项工作中，我们提出了解决这些缺陷的方法。首先，我们在特征级别将激光扫描仪与常规相机流融合，以克服泛化和一致性挑战。其次，我们引入了一个新的有效的占领网格映射（OGM）的方法，以及新的算法，避免道路堵塞和全球路线规划。因此，我们提出的方法动态检测部分和全部道路堵塞，并引导受控车辆行驶到另一条路线以到达目的地。在最初的CIL工作之后，我们在CARLA模拟器城市驾驶基准上证明了我们的建议的有效性。我们的实验表明，我们的模型将天气条件的一致性提高了四倍，自动驾驶成功率提高了52%。此外，我们的全球路线规划器将驾驶成功率提高了37%。我们提出的道路阻塞避免算法提高了27%的驾驶成功率。最后，与静止物体碰撞前的平均行驶公里数增加了1.5倍。主要的源代码可以在https://heshameraqi.github.io/dynamic_cil_autonomous_driving上找到。
2022-11-17 cs.AI cs.RO
Density-Aware Federated Imitation Learning for Connected and Automated Vehicles with Unsignalized Intersection
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Information Science and Technology University（北京信息科技大学）
智能交通系统（ITS）已成为工业4.0的重要组成部分之一。效率作为智能交通系统的重要指标之一，受到了研究者的广泛关注。然而，由多个交通服务提供商承载的下一代城市交通可能会因隐私原因而禁止多个区域之间的原始数据交互，这在现有研究中容易被忽视。针对上述问题，提出了一种基于联邦学习的车辆控制框架，包括交互器、训练器和聚集器。此外，密度感知的模型聚合方法在此框架中使用，以改善车辆控制。此外，为了提高端到端学习算法在安全性方面的性能，本文提出了一种模仿学习算法，该算法可以从一组避碰规则中获得避碰能力。此外，还探索了一种损失感知的经验选择策略，通过额外的计算减少了交互者和训练者之间的通信开销。最后，实验结果表明，所提出的模仿学习算法具有避免碰撞的能力，并使不适感降低了55.71%。此外，密度感知的模型聚合可以进一步减少41.37%的不适，经验选择方案可以减少12.80%的通信开销，同时确保模型收敛。
2021-05-05 cs.MA cs.RO
Exploring Imitation Learning for Autonomous Driving with Feedback Synthesizer and Differentiable Rasterization
Baidu Autonomous Driving Technology Department（百度自动驾驶技术部）
我们提出了一个基于学习的规划器，旨在通过模仿人类驾驶员的驾驶行为来鲁棒地驾驶车辆。我们利用一种中间到中间的方法，使我们能够自由地操纵模仿学习网络的输入。考虑到这一点，我们提出了一种新的反馈合成器的数据增强。它允许我们的代理在可能遇到的各种以前看不见的环境中获得更多的驾驶经验，从而提高整体性能。这与纯粹依赖于随机合成器的先前作品形成对比。此外，我们并没有完全致力于模仿，而是引入了任务损失来惩罚不良行为，如碰撞，越野等。与以前的作品不同，这是通过引入可微分车辆光栅化器来完成的，该光栅化器直接将网络输出的路点转换为图像。这有效地避免了使用重量级的ConvLSTM网络，因此，产生了更快的模型推理时间。关于网络架构，我们利用了一种注意力机制，使网络能够推理场景中的关键对象，并产生更好的可解释的注意力热图。为了进一步增强网络的安全性和鲁棒性，我们添加了一个可选的基于优化的后处理规划器，以提高驾驶舒适性。我们全面验证了我们的方法在专门用于评估自动驾驶车辆的不同场景中的有效性。结果表明，我们的学习为基础的规划实现了高智能，可以处理复杂的情况。详细的消融和可视化分析，包括进一步证明我们提出的每个模块在我们的方法的有效性。
2021-08-03 cs.RO
CityWalker: Learning Embodied Urban Navigation from Web-Scale Videos
New York University（纽约大学）
本文提出CityWalker，利用网络视频数据训练具身智能体进行城市导航，通过可扩展数据处理提取动作监督，实现大规模模仿学习，显著提升导航性能。
2025-04-22 cs.CV cs.RO
Efficient Learning of Urban Driving Policies Using Bird's-Eye-View State Representations
Technical University of Munich（慕尼黑工业大学）；University of Freiburg（弗莱堡大学）
针对自动驾驶深度强化学习中高维状态表示瓶颈，论文提出基于 PPO 的循环架构 RecurrDriveNet，利用鸟瞰视图表示学习长时域城市驾驶策略，并在 CARLA 中以一百万条经验实现优于帧堆叠的安全驾驶性能。
2023-08-15 cs.RO
End-to-End Urban Driving by Imitating a Reinforcement Learning Coach
Computer Vision Lab, ETH Zürich（计算机视觉实验室，苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息研究所）；PSI, KU Leuven（PSI，鲁汶大学）
自动驾驶的端到端方法通常依赖于专家演示。虽然人类是很好的驾驶员，但对于需要密集的策略监督的端到端算法来说，他们不是很好的教练。相反，利用特权信息的自动化专家可以有效地生成大规模的政策和政策外的演示。然而，现有的城市驾驶自动化专家大量使用手工制定的规则，即使在驾驶模拟器上也表现不佳，因为地面实况信息是可用的。为了解决这些问题，我们训练了一个强化学习专家，将鸟瞰图映射到连续的低级别动作。在CARLA上设置新的性能上限的同时，我们的专家也是一个更好的教练，为模仿学习代理提供信息丰富的监督信号。在我们的强化学习教练的监督下，具有单眼相机输入的基线端到端代理实现了专家级性能。我们的端到端代理实现了78%的成功率，同时在CARLA LeaderBoard的具有挑战性的公共路线上，以NoCrash密集基准和最先进的性能推广到新的城镇和新的天气。
2021-10-04 cs.CV cs.RO
Privileged to Predicted: Towards Sensorimotor Reinforcement Learning for Urban Driving
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文研究城市驾驶中特权RL智能体与感觉运动智能体的差距，提出用视觉深度学习模型从传感器数据近似关键特权表示，并在CARLA中验证状态表示对自动驾驶RL的重要性。
2023-09-18 cs.CV cs.RO
TrajGAIL: Generating Urban Vehicle Trajectories using Generative Adversarial Imitation Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；The University of Queensland（昆士兰大学）
近年来，大量的城市车辆轨迹数据被采集到道路网络中。许多研究已经使用机器学习算法来分析车辆轨迹中的模式以预测个体旅行者的位置序列。与以前的研究，使用判别建模方法，本研究提出了一种生成建模方法来学习城市车辆轨迹数据的基本分布。用于城市车辆轨迹的生成模型可以通过学习训练数据的潜在分布来更好地从训练数据概括，并且因此产生与具有有限观测的真实车辆轨迹类似的合成车辆轨迹。合成轨迹可以为使用位置数据时的数据稀疏或数据隐私问题提供解决方案。本研究提出TrajGAIL，一个生成式对抗模仿学习框架，用于城市车辆轨迹生成。在TrajGAIL，学习位置序列中观察到的轨迹制定为一个模仿学习问题的部分可观察马尔可夫决策过程。该模型由生成式对抗框架训练，该框架使用来自对抗性模型的奖励函数。仿真和真实世界的数据集进行测试，结果表明，该模型获得了显着的性能增益相比，现有的模型在序列建模。
2021-01-16 cs.LG stat.ML
RIWANav: Recursive World-Action Models with Self-Improvement for Urban Navigation
Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）；The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Intelligent Game and Decision Lab (IGDL)（智能博弈与决策实验室）
RIWANAV提出递归自我改进框架，通过交替更新世界模型与策略，利用想象反馈和自课程学习提升城市导航性能，优于现有方法。
2026-10-07 cs.RO
Path Planning based on 2D Object Bounding-box
Technical University of Munich（慕尼黑工业大学）
本文提出一种以视觉为中心的自动驾驶路径规划方法，利用2D物体边界框，结合高精地图与摄像头图像，通过GNN和Transformer进行时空特征聚合，在nuPlan任务上取得有竞争力的表现。
2024-02-22 cs.AI cs.RO
Bridging Perception and Action: Spatially-Grounded Mid-Level Representations for Robot Generalization
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
本文提出利用空间基中层表征训练专家编码器，并通过专家混合策略架构结合多个专门模型，显著提升了真实世界灵巧双手操作任务的策略泛化能力和成功率。
2025-06-06 cs.RO
DTCCL: Disengagement-Triggered Contrastive Continual Learning for Autonomous Bus Planners
School of Vehicle and Mobility, Tsinghua University（车辆与移动系统学院，清华大学）；Dongfeng Motor Corporation Research and Development General Institute（东风汽车集团研发总院）；Dongfeng Yuexiang Technology Co., Ltd.（东风悦铃科技有限公司）
DTCCL通过脱钩触发对比连续学习，提升自动驾驶巴士在动态城市环境中的规划性能，有效解决传统方法在稀疏脱钩数据下的过拟合问题。
2025-12-22 cs.RO
Probabilistic End-to-End Vehicle Navigation in Complex Dynamic Environments with Multimodal Sensor Fusion
The Hong Kong University of Science and Technology（香港科技大学）
全天候和全天候导航是自动驾驶的关键能力，这需要对各种环境条件和复杂的智能体行为做出适当的反应。最近，随着深度学习的兴起，自动驾驶汽车的端到端控制得到了很好的研究。然而，大多数作品仅仅基于视觉信息，这些信息可能会因具有挑战性的照明条件（如昏暗的光线或完全的黑暗）而退化。此外，他们通常产生和应用确定性的控制命令，而不考虑未来的不确定性。本文基于模仿学习，利用摄像头、激光雷达和雷达的信息，提出了一种具有多感知能力的概率驾驶模型。我们进一步评估其驾驶性能在线我们的新驾驶基准，其中包括各种环境条件（例如，城市和农村地区、交通密度、天气和一天中的时间）和动态障碍物（例如，车辆、行人、骑摩托车者和骑自行车者）。结果表明，我们提出的模型优于基线，并在交通繁忙和极端天气的不可见环境中实现了出色的泛化性能。
2020-05-05 cs.AI cs.LG cs.RO
MIDAS: Multi-agent Interaction-aware Decision-making with Adaptive Strategies for Urban Autonomous Navigation
Nuro, Inc.（Nuro公司）；University of Pennsylvania（宾夕法尼亚大学）
在拥挤、复杂的城市环境中进行自主导航需要与道路上的其他智能体进行交互。这个问题的一个常见解决方案是使用预测模型来猜测其他代理可能的未来行为。虽然这是合理的，但它会导致过于保守的计划，因为它没有明确地模拟交互代理的行为的相互影响。本文建立了一个强化学习为基础的方法命名为MIDAS自我代理学习影响其他汽车在城市驾驶场景中的控制动作。MIDAS使用注意力机制来处理任意数量的其他代理，并包括一个“驱动程序类型”参数来学习跨不同规划目标工作的单个策略。我们建立了一个模拟环境，使不同的互动实验与大量的代理和方法定量研究的安全性，效率和车辆之间的互动。MIDAS使用广泛的实验进行验证，我们表明，它（一）可以在不同的道路几何形状，（二）结果在一个自适应的自我政策，可以很容易地调整，以满足性能标准，如积极或谨慎的驾驶，（三）是强大的外部代理的驾驶政策的变化，（四）是更有效和更安全的比现有的方法，以交互感知决策。
2021-03-23 cs.LG cs.RO stat.ML
Ctx2TrajGen: Traffic Context-Aware Microscale Vehicle Trajectories using Generative Adversarial Imitation Learning
本文提出 Ctx2TrajGen 框架，融合 GAIL、PPO 与 WGAN-GP，并依据周围车辆和道路几何生成交互感知轨迹，在 DRIFT 数据集上显著提升真实性、多样性与情境保真度。
2025-07-23 cs.AI cs.LG
TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们应该如何整合来自互补传感器的表示以实现自动驾驶？基于几何的融合已经显示出感知（例如，目标检测、运动预测）的前景。然而，在端到端驾驶的情况下，我们发现，模仿学习基于现有的传感器融合方法在复杂的驾驶场景中表现不佳，具有高密度的动态代理。因此，我们提出了TransFuser，这是一种使用自我注意力整合图像和LiDAR表示的机制。我们的方法使用多分辨率的Transformer模块来融合透视图和鸟瞰图特征图。我们通过实验验证了其在具有长路线和密集交通的具有挑战性的新基准上的有效性，以及CARLA城市驾驶模拟器的官方排行榜。在提交时，TransFuser在驾驶分数方面远远超过了CARLA排行榜上的所有先前工作。与基于几何的融合相比，TransFuser将每公里的平均碰撞减少了48%。
2022-05-31 cs.AI cs.CV cs.LG
Urban Driver: Learning to Drive from Real-world Demonstrations Using Policy Gradients
Woven Planet（Woven Planet（织网星球））；Level 5（Level 5（第五级））
在这项工作中，我们首次提出了一种离线策略梯度方法，用于从大量真实世界的演示中学习复杂城市驾驶的模仿政策。这是通过在感知输出和该地区的高保真高清地图之上构建可区分的数据驱动模拟器来实现的。它允许我们使用中级表示从现有演示中合成新的驾驶体验。然后，使用该模拟器，我们在闭环中采用策略梯度训练策略网络。我们训练我们提出的方法在100小时的专家演示城市道路上，并表明它学习复杂的驾驶政策，概括良好，可以执行各种驾驶机动。我们在模拟中证明了这一点，并将我们的模型部署到现实世界中的自动驾驶车辆上。我们的方法在城市驾驶场景中的表现优于之前展示的最先进技术-所有这些都不需要复杂的状态扰动或在训练期间收集额外的政策数据。我们公开代码和数据。
2021-09-27 cs.AI cs.CV cs.LG
Group Effect Enhanced Generative Adversarial Imitation Learning for Individual Travel Behavior Modeling under Incentives
针对个体出行行为建模的数据密集难题，提出群体效应增强的生成对抗模仿学习（gcGAIL），利用群体共享模式提升效率，在票价折扣案例中优于现有方法，并支持个性化激励时机优化。
2025-09-08 cs.LG
VTGNet: A Vision-based Trajectory Generation Network for Autonomous Vehicles in Urban Environments
Hong Kong University of Science and Technology（香港科技大学）
传统的自动驾驶方法是通过感知、规划和控制的许多构建模块来实现的，由于复杂的假设和相互依赖性，它们很难推广到各种场景。最近，出现了端到端驱动方法，该方法通过直接从出口提供的数据中学习，性能良好并可推广到新的环境。然而，许多现有的方法在这个话题上忽略了检查驾驶行为的信心和从驾驶错误中恢复的能力。本文提出了一种基于模仿学习的不确定性感知的端到端轨迹生成方法。它可以从前视摄像机图像中提取时空特征用于场景理解，然后生成未来几秒钟的无碰撞轨迹。实验结果表明，在各种天气和光照条件下，我们的网络可以在不同的城市环境中可靠地生成轨迹，例如在十字路口转弯和减速以避免碰撞。此外，闭环驾驶测试表明，所提出的方法实现了更好的跨场景/平台的驾驶结果比国家的最先进的（SOTA）端到端的控制方法，其中我们的模型可以从偏离中心和偏离方向的错误，并捕获80%的危险情况下，高不确定性估计。
2020-10-23 cs.CV cs.LG cs.RO
Apollo: An Interactive Environment for Generating Symbolic Musical Phrases using Corpus-based Style Imitation
Simon Fraser University（西蒙菲莎大学）
Apollo是一个交互式桌面应用，利用基于语料库的风格模仿技术生成西方音乐符号短语，支持语料库构建与管理，并可导出MIDI格式音乐材料。
2025-04-18 cs.HC cs.LG cs.SD
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
如何将互补传感器的表示集成到自动驾驶中？基于几何特征的传感器融合在诸如目标检测和运动预测等感知任务中显示出巨大的前景。然而，对于实际驾驶任务，3D场景的全局上下文是关键，例如交通灯状态的变化可能会影响在几何上远离该交通灯的车辆的行为。因此，单独的几何形状可能不足以有效地融合端到端驾驶模型中的表示。在这项工作中，我们证明了模仿学习政策的基础上现有的传感器融合方法下执行的动态代理和复杂的情况下，需要全局上下文推理，如处理交通迎面而来的多个方向在不受控制的十字路口的存在下。因此，我们提出了transFuser，一种新的多模态融合Transformer，集成图像和激光雷达表示使用注意。我们的实验验证了我们的方法在城市环境中的有效性，涉及复杂的情况下，使用CARLA城市驾驶模拟器。我们的方法实现了最先进的驾驶性能，同时与基于几何的融合相比，减少了76%的碰撞。
2021-04-19 cs.AI cs.CV cs.LG
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota（丰田）；Woven Planet（织女星）；Level 5 self-driving division（Level 5自动驾驶部门）
在本文中，我们介绍了第一个用于完全控制自动驾驶车辆的安全系统，该系统通过人类演示进行训练，并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错，但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面，机器学习（ML）规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而，ML方法不能提供安全保证，有时行为不可预测。为了解决这个问题，我们的方法使用了一个简单而有效的基于规则的回退层，对ML规划者的决策进行合理性检查（例如避免冲突，确保物理可行性）。这使我们能够利用机器学习来处理复杂的情况，同时仍然确保安全性，将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练，并将其与旧金山市中心的后备层一起部署，在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
Shift & Drift: A Zero-Shot Benchmark for Generalizable and Robust Autonomous Driving Motion Planning
Mercedes-Benz AG, Research & Development（梅赛德斯-奔驰股份公司，研发部）；University of Tübingen（图宾根大学）；Karlsruhe Institute of Technology, ITIV（卡尔斯鲁厄理工学院，ITIV）
研究自动驾驶运动规划器在新城市拓扑泛化及执行扰动恢复方面的不足，提出Shift & Drift双轨基准测试，通过语义转移和状态分布漂移测试不同规划范式，发现模仿学习与强化学习在性能上的差异，为评估可靠部署提供基准。
2026-07-10 cs.AI cs.LG cs.RO
Cooperative Behavior Planning for Automated Driving using Graph Neural Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
由于静态优先规则和遮挡限制了优先交通的视野，城市交叉口容易出现延误和效率低下。现有的改善交通流的方法，广泛称为自动交叉口管理系统，大多是基于非学习预留方案或优化算法。基于机器学习的技术在规划单个自我车辆方面显示出有希望的结果。本文提出利用机器学习算法，通过多车辆联合规划来优化城市交叉口的交通流。基于学习的行为规划提出了几个挑战，需要合适的输入和输出表示以及大量的地面实况数据。我们解决前一个问题，使用灵活的基于图形的输入表示伴随着一个图神经网络。这允许有效地编码场景，并固有地为所有涉及的车辆提供单独的输出。为了学习一个合理的策略，而不依赖于模仿的专家示范，合作规划任务被认为是一个强化学习问题。我们在自动驾驶决策的开源模拟环境中对所提出的方法进行了训练和评估。相比先进先出的计划和交通由静态优先级规则，学习规划显示出显着的增益流量，同时减少诱导停止的数量。除了合成模拟，该方法还基于从公开可用的inD数据集获取的真实交通数据进行评估。
2022-07-26 cs.LG cs.RO
CW-ERM: Improving Autonomous Driving Planning with Closed-loop Weighted Empirical Risk Minimization
Woven Planet United Kingdom Limited（Woven Planet英国有限公司）；Woven Planet North America, Inc.（Woven Planet北美公司）
通过行为克隆对自动驾驶汽车政策的模仿学习通常是以开环方式进行的，忽略了行为对未来状态的影响。纯粹用经验风险最小化（ERM）来训练这些政策可能对现实世界的表现有害，因为它使政策网络偏向于只匹配开环行为，在闭环评估时显示出不佳的结果。在这项工作中，我们开发了一种高效且易于实现的原则，称为闭环加权经验风险最小化（CW-ERM），其中首先使用闭环评估程序来识别对实际驾驶性能非常重要的训练数据样本，然后使用这些样本来帮助消除策略网络的偏差。我们在一个具有挑战性的城市驾驶数据集中评估了CW-ERM，并表明该过程显著减少了碰撞以及其他不可微的闭环指标。
2022-10-11 cs.LG cs.RO
Efficient and Generalized end-to-end Autonomous Driving System with Latent Deep Reinforcement Learning and Demonstrations
Shanghai Qizhi Institute（上海启智研究所）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息学院）；Mogo Auto Intelligence and Telematics Information Technology Co., Ltd（摩戈智能与 telemetry 信息技术有限公司）
本文提出EGADS，一种结合变分推断、归一化流和专家示范的端到端自动驾驶系统，显著降低样本复杂度、提升安全性并增强复杂城市场景的泛化能力。
2025-09-10 cs.AI cs.LG cs.RO
Long-range Event-level Prediction and Response Simulation for Urban Crime and Global Terrorism with Granger Networks
Santa Fe Institute（圣塔菲研究所）；University of Chicago（芝加哥大学）
城市犯罪和全球恐怖主义的大规模趋势是由社会经济驱动因素很好地预测的，但有针对性的，事件层面的预测取得了有限的成功。标准的机器学习方法是有前途的，但缺乏可解释性，通常是插值的，并且对于精确的未来干预是无效的，具有昂贵和浪费的假阳性。在这里，我们将格兰杰网络推理作为一种新的预测方法，用于个人违规行为，其表现远远超过过去的结果，但足够透明，可以验证和扩展社会理论。考虑到预测芝加哥市犯罪的问题，对于在大约$1000$ ft宽的空间瓦片内提前一周预测的事件，我们实现了~90\%的平均AUC。我们不是预先假设犯罪是在类似于扩散系统的连续空间中展开的，而是从数据中学习局部传输规则。作为我们的关键见解，我们发现了郊区偏见的迹象-执法反应如何受到社会经济背景的调节，在市中心产生不成比例的负面影响-以及暴力和财产犯罪的动态如何共同发展和相互制约-为有争议的积极警务政策提供定量支持。为了证明对时空现象的广泛适用性，我们分析了最近在中东发生的恐怖袭击事件，并提前一周进行预测，在大约120英里的空间瓦片内实现了约80%的AUC。我们的结论是，虽然犯罪活动接近一个平衡，迅速消散的扰动，恐怖主义没有。事实上，恐怖主义的目的是破坏社会秩序，这表现在其动态很容易在小的扰动下事件发生率迅速增加。
2019-11-04 cs.LG cs.SI stat.AP
RSS map-assisted MIMO channel estimation in the upper mid-band under pilot constraints
University of California San Diego（加州大学圣地亚哥分校）
本文提出了一种结合物理信息的神经网络框架，通过融合RSS地图与深度网络，提升中高频段MIMO信道估计在有限试点条件下的性能，实现5dB以上的NMSE增益。
2026-02-18 cs.LG eess.SP
Decoding pedestrian and automated vehicle interactions using immersive virtual reality and interpretable deep learning
Ryerson University（瑞尔森大学）
为了确保在自动驾驶汽车时代行人友好的街道，重新评估城市地区的现行政策，做法，设计，规则和法规至关重要。本研究调查行人过街行为，作为城市动态的一个重要因素，预计将受到自动驾驶汽车的存在。为此，提出了一个可解释的机器学习框架，以探讨在自动驾驶汽车存在的情况下，影响行人在穿过中间街区人行横道前等待时间的因素。为了收集丰富的行为数据，我们开发了一个动态和沉浸式的虚拟现实实验，180名参与者来自大多伦多地区（GTA）4个不同地点的异质人群。然后使用数据驱动的Cox比例风险（CPH）模型分析行人等待时间行为，其中协变量的线性组合被灵活的非线性深度神经网络取代。所提出的模型在拟合优度方面实现了5%的改进，但更重要的是，使我们能够纳入更丰富的协变量集。一个基于博弈论的可解释性方法被用来了解不同的协变量的行人等待过马路前的时间的贡献。结果表明，道路上自动驾驶汽车的存在，更宽的车道宽度，道路上的高密度，有限的视线距离和缺乏步行习惯是导致等待时间延长的主要因素。我们的研究表明，为了向对残疾人友好的城市地区迈进，应考虑国家一级的儿童教育方案，加强老年人的安全措施，推广积极的交通方式，并修订交通规则和条例。
2021-01-05 cs.HC cs.LG
