DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video Generation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本研究提出DriveDreamer-2,通过融合大语言模型将用户查询转为轨迹、生成合规高精地图并借助统一多视角模型增强时空一致性,实现定制化驾驶视频生成,质量优于现有方法且可提升驾驶感知训练效果。
2024-04-11 cs.CV
SafeMVDrive: Multi-view Safety-Critical Driving Video Synthesis in the Real World Domain
Harbin Institute of Technology(哈尔滨理工大学);Zhejiang University(浙江大学)
SafeMVDrive提出首个真实世界域多视角安全关键驾驶视频合成框架,结合轨迹生成与扩散视频生成,显著提升端到端规划器碰撞率测试效果。
2025-05-23 cs.CV
GA-Drive: Geometry-Appearance Decoupled Modeling for Free-viewpoint Driving Scene Generation
MMLab, CUHK(CUHK的MMLab);CASIA;Shanghai Jiaotong University(上海交通大学);SenseTime Research(商汤科技研究院)
GA-Drive通过几何-外观解耦和扩散生成技术,生成可编辑的高保真驾驶场景,提升自动驾驶训练和评估的效率与效果。
2026-03-13 cs.CV
An Application of Scenario Exploration to Find New Scenarios for the Development and Testing of Automated Driving Systems in Urban Scenarios
FZI Research Center for Information Technology(FZI信息技术研究中心);IPG Automotive GmbH(IPG汽车有限公司)
验证和确认是开发自动驾驶系统的主要挑战。在自动驾驶测试中,越来越多的人认识到一个概念,那就是基于Asio的测试。然而,它引入了一个问题,即哪些场景与测试相关,哪些场景与测试无关。这项工作的目的是找到相关的,有趣的,或关键的参数集的逻辑方案,利用贝叶斯优化和高斯过程。在两个城市交叉口的场景中,通过比较和评估六种不同的指标来进行参数优化。最后,提出了这项工作产生的以及应该进一步研究的想法清单。
2022-05-17 cs.LG cs.RO cs.SE
GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
提出GenDDS方法,利用SDXL、ControlNet和Hotshot-XL构建视频生成流水线,基于KITTI数据集生成高质量且多样化的自动驾驶视频场景,为自动驾驶系统训练和仿真验证提供新途径。
2024-08-28 cs.AI cs.CV
AdvDiffuser: Generating Adversarial Safety-Critical Driving Scenarios via Guided Diffusion
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);School of Computer Science, Wuhan University(武汉大学计算机学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Mechanical and Automotive Engineering, Qingdao University of Technology(青岛理工大学机械与汽车工程学院)
提出AdvDiffuser框架,通过结合扩散模型和轻量级引导模型生成对抗性安全关键驾驶场景,解决了现有方法跨系统可迁移性不足的问题,并在真实性和多样性上表现更优。
2024-10-11 cs.LG cs.RO
READ: Large-Scale Neural Scene Rendering for Autonomous Driving
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
合成具有真实感的自由视角图像是多媒体领域的一项重要任务。随着先进驾驶员辅助系统(ADAS)的发展及其在自动驾驶汽车中的应用,在不同场景下进行试验成为一项挑战。虽然真实感街道场景可以通过图像到图像的平移方法合成,但由于缺乏三维信息,无法生成连贯的场景。本文提出了一种大规模神经渲染方法来合成自动驾驶场景~(READ),使得通过多种采样方案在PC上合成大规模驾驶场景成为可能。为了表示驾驶场景,我们提出了一个ω渲染网络来从稀疏点云中学习神经描述符。该模型不仅可以合成逼真的驾驶场景,而且可以拼接和编辑驾驶场景。实验表明,我们的模型在大规模的驾驶场景中表现良好。
2022-05-11 cs.AI cs.CV
GoalFlow: Goal-Driven Flow Matching for Multimodal Trajectories Generation in End-to-End Autonomous Driving
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Horizon Robotics;Nanjing University(南京大学);Huazhong University of Science & Technology(华中科技大学);Shanghai AI Laboratory(上海人工智能实验室)
针对自动驾驶多模态轨迹生成中轨迹发散、选择复杂等问题,提出目标驱动的GoalFlow方法,通过目标点约束、流匹配生成及评分选优,在Navsim上取得SOTA性能,单步去噪即可实现优异效果。
2025-10-01 cs.CV
Extraction and Assessment of Naturalistic Human Driving Trajectories from Infrastructure Camera and Radar Sensors
BMW of North America(北美宝马公司);Graz University of Technology(格拉茨工业大学)
收集真实的驾驶轨迹对于训练模仿人类驾驶行为的机器学习模型至关重要。今天的大多数自动驾驶数据集在每个位置只包含几个轨迹,并且是由受过训练的驾驶员谨慎驾驶的测试车辆记录的。特别是在高速公路合并等交互式场景中,测试驾驶员的行为会显著影响其他车辆。这种影响妨碍了记录人类驾驶行为的整个交通空间。在这项工作中,我们提出了一种新的方法来提取交通对象的轨迹,使用基础设施传感器。基础设施传感器使我们能够记录一个位置的大量数据,并将测试驾驶员排除在循环之外。我们开发了由摄像头和交通监控雷达组成的硬件设置和轨迹提取算法。我们的视觉管道可以准确地检测物体,融合摄像头和雷达检测,并随着时间的推移跟踪它们。我们改进了一个国家的最先进的目标跟踪器相结合的跟踪图像坐标与卡尔曼滤波器在道路坐标。我们表明,我们的传感器融合方法成功地结合了相机和雷达检测的优势,并优于任何单一的传感器。最后,我们还评估了我们的轨迹提取管道的准确性。为此,我们为测试车辆配备了差分GPS传感器,并使用它来收集地面真实轨迹。利用这些数据,我们可以计算出测量误差。虽然我们使用平均误差来消除轨迹的偏差,但误差标准差是地面实况数据不准确的幅度。因此,提取的轨迹不仅是自然的,而且高度准确,并证明了使用基础设施传感器来提取真实世界轨迹的潜力。
2020-04-02 cs.CV cs.RO eess.IV
KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models
Tongji University(同济大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Wuhan University of Science and Technology(武汉科技大学);Tsinghua University(清华大学)
KEPT 通过知识增强的视觉-语言模型,利用时间频率-空间融合编码器和检索增强生成流水线,提升自动驾驶中轨迹预测的准确性和可靠性。
2025-11-25 cs.AI cs.CV
HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles
NEC Labs America(NEC美国实验室);Stony Brook University(石溪大学);UC San Diego(圣地亚哥大学)
HorizonForge通过任意轨迹和车辆实现驾驶场景的可控编辑,利用高斯溅射体和网格表示,结合视频扩散技术,提升生成场景的真实性和可控性。
2026-03-01 cs.CV
Self-Supervised Action-Space Prediction for Automated Driving
Robert Bosch GmbH(罗伯特·博世股份有限公司);Research Center for Information Technology (FZI)(信息技术研究中心(FZI))
做出明智的驾驶决策需要可靠地预测其他车辆的轨迹。在本文中,我们提出了一种新的学习多模态轨迹预测架构的自动驾驶。它通过将学习问题投射到加速度和转向角度的空间来实现运动学上可行的预测-通过执行动作空间预测,我们可以利用有价值的模型知识。此外,动作流形的维数低于状态流形的维数,其内在相关的状态更难以以学习的方式捕获。对于动作空间预测,我们提出了简单的前馈空间预测(FFW-ASP)架构。然后,我们建立在这个概念,并介绍了新的自我监督的空间预测(SSP-ASP)的架构,输出未来的环境背景下的功能,除了轨迹。自我监督架构中的一个关键要素是,基于观察到的动作历史和过去的上下文特征,在未来轨迹之前预测未来的上下文特征。所提出的方法在包含城市交叉口和环形交叉口的真实数据集上进行了评估,并显示出准确的预测,在几个预测指标中优于最先进的运动学可行预测。
2021-09-21 cs.CV cs.LG cs.RO
Multimodal Scenario Similarity Search for Autonomous Driving
aiMotive(爱莫提夫)
研究自动驾驶场景相似性搜索,提出多模态框架结合视觉与轨迹表示,对比两种基于轨迹的方法与视觉基线,实验表明轨迹表示在运动事件中性能强,视觉嵌入在外观线索丰富时出色,结合二者可提升检索质量。
2026-07-13 cs.CV cs.LG
Perception in Plan: Coupled Perception and Planning for End-to-End Autonomous Driving
本文提出VeteranAD框架,将感知融入规划过程,利用多模式锚定轨迹作为先验引导针对性感知,并结合自回归策略逐步预测轨迹,在NAVSIM和Bench2Drive数据集上取得最先进性能。
2025-08-15 cs.CV
Echo Planning for Autonomous Driving: From Current Observations to Future Trajectories and Back
School of Computer Science and Technology, Beijing Institute of Technology, China(北京理工大学计算机科学与技术学院);CSIRO DATA61, Australia(澳大利亚CSIRO DATA61);Faculty of Science and Technology and Institute of Collaborative Innovation, University of Macau, Macau SAR, China(澳门大学科学与技术学院及协同创新研究院)
本文提出EchoP框架,通过建立当前-未来-当前循环,使轨迹预测与场景一致性协调。实验表明,该方法在nuScenes上减少L2误差并降低碰撞率,且在闭环评估中表现优异,无需额外监督。
2026-03-18 cs.CV cs.RO
SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
Shanghai Innovation Institute(上海创新研究院);OpenDriveLab at The University of Hong Kong(香港大学OpenDriveLab);Li Auto Inc.(理想汽车);Tongji University(同济大学);Tsinghua University(清华大学)
本文提出SimVTA框架,结合轨迹优化与视频监督,通过仿真解决驾驶世界动作模型的视觉监督缺失问题,在NAVSIM等数据集上显著提升规划性能。
2026-10-12 cs.CV
RISEE: A Highly Interactive Naturalistic Driving Trajectories Dataset with Human Subjective Risk Perception and Eye-tracking Information
School of Automotive Studies, Tongji University(同济大学汽车学院)
本文提出RISEE数据集,整合人类主观风险评估和眼动数据,通过无人机与模拟相结合的方法,提升自动驾驶决策系统的人机交互研究质量。
2025-07-29 cs.CV cs.HC
Learning Personalized Driving Styles via Reinforcement Learning from Human Feedback
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海启智研究院);Peking University(北京大学);LiAuto;Tsinghua University(清华大学)
针对生成式轨迹模型难以捕捉个性化驾驶风格的问题,提出人类反馈驱动微调框架TrajHF,结合多条件去噪器与人类反馈强化学习,在NavSim基准上达到最先进性能,实现个性化自适应轨迹生成。
2025-09-26 cs.CV cs.LG cs.RO
StopNet: Scalable Trajectory and Occupancy Prediction for Urban Autonomous Driving
Waymo;Korea University(高丽大学)
我们介绍了一种运动预测(行为预测)方法,可以在不牺牲准确性的情况下满足密集城市环境中自动驾驶的延迟要求。全场景稀疏输入表示允许StopNet扩展到预测数百个道路代理的轨迹,并具有可靠的延迟。除了预测轨迹外,我们的场景编码器还可以预测整个场景的概率占用网格,这是一种适合繁忙城市环境的补充输出表示。占领网格允许AV集体推理代理组的行为,而不处理他们的个人轨迹。我们证明了我们的稀疏输入表示和我们的模型在三个数据集的计算和准确性方面的有效性。我们进一步表明,共同训练一致的轨迹和占用预测在标准指标下提高了最先进的性能。
2022-06-02 cs.CV cs.RO
Aligning Multi-Trajectory Supervision with Policy Optimization for VLA Driving
School of Computer Science, Wuhan University(武汉大学计算机学院);Dongfeng Research & Development Institute(东风研发院)
针对VLA驾驶中多轨迹与GRPO不对齐的问题,本文提出对齐框架,引入两种互补机制,在NAVSIM数据集上取得优于GRPO基线的性能。
2026-09-01 cs.AI cs.CV cs.LG
Conditional Prediction by Simulation for Automated Driving
CARIAD SE;Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出一种基于微观交通仿真和对抗性逆强化学习行为模型的条件预测方法,通过以自动驾驶车辆候选轨迹为条件生成预测并支持动态调整,从而实现协同规划。
2025-02-05 cs.CV cs.RO
LAformer: Trajectory Prediction for Autonomous Driving with Lane-Aware Scene Constraints
Leibniz University Hannover(汉诺威莱布尼茨大学);PhiGent Robotics(鉴智机器人);University of Twente(特文特大学);VISCODA GmbH(VISCODA有限公司)
自动驾驶的轨迹预测必须不断推理道路智能体的运动随机性并遵守场景约束。现有的方法通常依赖于一阶段的轨迹预测模型,该模型将未来的轨迹与融合的场景信息相结合。然而,他们经常与复杂的场景约束作斗争,例如在十字路口遇到的约束。为此,我们提出了一种新的方法,称为LAformer。它使用时间密集的车道感知估计模块来仅选择HD地图中的顶部高潜力车道段,这有效地且连续地将运动动态与场景信息对齐,通过过滤掉不相关的车道段来降低后续基于注意力的解码器的表示要求。此外,与单阶段预测模型不同,LAformer利用第一阶段的预测作为锚轨迹,并添加了第二阶段运动细化模块,以进一步探索整个时间范围内的时间一致性。在Argoverse 1和nuScenes上的大量实验表明,LAformer在多模态轨迹预测方面具有优异的性能。
2023-02-27 cs.CV
CausalDriveBench: Evaluating Causal Reasoning in Vision-Language-Action Models for Autonomous Driving
提出CausalDriveBench基准,基于Pearl因果层级评估自动驾驶VLA模型的因果推理,发现最佳模型QA准确率仅70.6%,且因果QA与轨迹准确率不相关,表明流畅理由和准确轨迹不证明因果理解。
2026-09-29 cs.CV cs.RO
IDSplat: Instance-Decomposed 3D Gaussian Splatting for Driving Scenes
Zenseact;Chalmers University of Technology(瑞典查尔姆斯理工大学);University of Amsterdam(阿姆斯特丹大学)
IDSplat通过实例分解和可学习运动轨迹重建动态驾驶场景,无需人工标注,实现场景分离与泛化。
2026-03-23 cs.CV
KING: Generating Safety-Critical Driving Scenarios for Robust Imitation via Kinematics Gradients
Mercedes-Benz AG R&D(梅赛德斯-奔驰股份公司研发部);University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
模拟器为安全、低成本地开发自动驾驶系统提供了可能性。然而,目前的驾驶模拟器表现出幼稚的行为模型的背景交通。手动调整的场景通常在模拟过程中添加,以引发安全关键情况。另一种方法是反向扰动背景流量轨迹。在本文中,我们研究这种方法,以安全关键的驾驶场景生成使用的CARLA模拟器。我们使用一个运动学的自行车模型作为模拟器的真实动态的代理,并观察到通过这个代理模型的梯度足以优化背景交通轨迹。基于这一发现,我们提出了KING,它生成的安全关键驾驶场景的成功率比黑盒优化高20%。通过解决由国王使用特权规则为基础的专家算法产生的情况下,我们获得的模仿学习政策的训练数据。在对这些新数据进行微调后,我们发现该策略在避免碰撞方面变得更好。重要的是,我们生成的数据减少了通过KING生成的保留场景以及传统手工制作场景的冲突,证明了鲁棒性的提高。
2022-04-28 cs.CV cs.LG cs.RO
ComDrive: Comfort-Oriented End-to-End Autonomous Driving
Horizon Robotics;University of Hong Kong(香港大学);University of the Chinese Academy of Sciences(中国科学院大学);Nanjing University(南京大学);Beijing Jiaotong University(北京交通大学)
针对现有端到端自动驾驶轨迹时间一致性差、舒适性不足的问题,提出ComDrive系统,结合稀疏感知、条件DDPM运动规划与双流评分机制,在舒适性和安全性上均达SOTA。
2025-10-22 cs.CV cs.RO
DriveVer: Lightweight Trajectory Evaluator as Test-Time Verifier for Autonomous Driving
Tsinghua University(清华大学);University of Macau(澳门大学)
提出DriveVer,一种轻量级即插即用的测试时验证器,通过双头架构融合候选轨迹与多视图视觉特征,预测安全置信度和几何修正向量,在不增加训练成本下提升规划模型性能。
2026-07-02 cs.CV
ReGentS: Real-World Safety-Critical Driving Scenario Generation Made Stable
Sorbonne Université(索邦大学)
针对真实世界安全关键驾驶场景数据稀缺的问题,提出ReGentS框架,通过轨迹优化修改常规场景生成安全关键场景,稳定轨迹并避免无效碰撞,支持最多32个智能体,借助可微分模拟器简化优化,助力自动驾驶系统训练。
2024-09-12 cs.CV cs.LG cs.RO
The highD Dataset: A Drone Dataset of Naturalistic Vehicle Trajectories on German Highways for Validation of Highly Automated Driving Systems
RWTH Aachen University(亚琛工业大学);Institute for Automotive Engineering(汽车工程研究所)
基于场景的高度自动化车辆安全验证测试是一种很有前途的方法,正在研究和工业中进行研究。这种方法在很大程度上依赖于来自真实场景的数据,以获得测试所需的场景信息。应尽合理努力收集测量数据,其中应包含道路使用者的自然行为,并包括与描述已识别情景相关的所有数据。然而,目前的测量方法不能满足至少一个要求。因此,我们提出了一种新的方法来测量数据,从空中的角度为基础的验证,满足上述要求。此外,我们提供了一个大规模的自然车辆轨迹数据集,从德国的高速公路称为highD。我们从数量、种类和包含的场景方面评估数据。我们的数据集包括来自六个地点的16.5小时测量,110000辆车,总行驶距离为45000公里,记录了5600次完整的车道变换。highD数据集可在以下网址在线获取:http://www.highD-dataset.com
2018-10-11 cs.AI cs.CV cs.IR
World4Drive: End-to-End Autonomous Driving via Intention-aware Physical Latent World Model
CASIA(中国科学院自动化研究所);Li Auto(力汽车);PCL(鹏城实验室);NUS(新加坡国立大学);Tsinghua(清华大学)
本文提出World4Drive,利用视觉基础模型构建意图感知的潜在世界模型,通过自监督对齐实现无感知标注的端到端自动驾驶规划,并在开环和闭环基准上取得最优性能。
2025-07-01 cs.CV
WALT: Learning World-Model-Aligned Latent Trajectories for Autonomous Driving
The Hong Kong University of Science and Technology(香港科技大学);Horizon Robotics(地平线机器人);The Chinese University of Hong Kong(香港中文大学);Nanjing University of Posts and Telecommunications(南京邮电大学);Nankai University(南开大学)
针对视觉预测与轨迹规划不匹配问题,提出WALT,通过双分支自编码器将路径点映射为潜在轨迹并迁移冻结世界模型语义知识,在NAVSIM上提升PDMS/EPDMS并降低30.5%计算量。
2026-09-28 cs.CV cs.RO
Multi-modal Trajectory Prediction for Autonomous Driving with Semantic Map and Dynamic Graph Attention Network
JD Logistics, JD.com, China(京东物流,京东集团,中国)
预测周围障碍物的未来轨迹是自动驾驶汽车实现高度道路安全的关键任务。在现实世界的交通场景中,轨迹预测存在几个挑战,包括遵守交通规则,处理社会交互,处理多类运动的交通,以及预测具有概率的多模式轨迹。受人们关注目标和周围环境的自然习惯的启发,本文提出了一种独特的动态图形注意力网络来解决所有这些挑战。该网络的设计是为了模拟代理之间的动态社会互动,并符合交通规则的语义地图。通过将基于锚的方法扩展到多种类型的代理,所提出的方法可以使用单个模型来预测具有多类运动概率的多模态轨迹。我们在物流交付场景的专有自动驾驶数据集和两个公开可用的数据集上验证了我们的方法。结果表明,我们的方法优于国家的最先进的技术,并展示了在现实世界的交通轨迹预测的潜力。
2021-03-30 cs.CV cs.RO
Trajectory Prediction for Autonomous Driving based on Multi-Head Attention with Joint Agent-Map Representation
INRIA Paris(法国国家信息与自动化研究所巴黎中心);LISA, UCSD(加州大学圣地亚哥分校LISA实验室)
预测周围智能体的轨迹是自主车辆在复杂交通场景中导航的基本能力。代理的未来轨迹可以推断使用两个重要的线索:代理的位置和过去的运动,以及静态场景结构。由于场景结构和代理配置的高度可变性,先前的工作采用了注意力机制,分别应用于场景和代理配置,以学习这两个线索的最显着的部分。然而,这两个线索是紧密相连的。代理配置可以通知场景的哪个部分与预测最相关。静态场景反过来可以帮助确定代理对彼此运动的相对影响。此外,未来轨迹的分布是多模式的,模式对应于代理的意图。智能体的意图还通知场景的哪个部分和智能体配置与预测相关。因此,我们提出了一种新的方法,通过考虑静态场景和周围代理的联合表示应用多头注意力。我们使用每个注意头来生成不同的未来轨迹,以解决未来轨迹的多模态。我们的模型在nuScenes预测基准上取得了最先进的结果,并生成了符合场景结构和代理配置的各种未来轨迹。
2020-09-02 cs.CV cs.RO
CMTS: Conditional Multiple Trajectory Synthesizer for Generating Safety-critical Driving Scenarios
Carnegie Mellon University(卡内基梅隆大学)
自然驾驶轨迹对于自动驾驶算法的性能至关重要。然而,大多数数据是在安全的情况下收集的,导致轨迹的重复,这很容易被目前开发的算法处理。在考虑安全性时,在几乎没有出现在现成数据集中的情况下测试算法是评估的重要组成部分。作为一种补救措施,我们提出了一种基于变分贝叶斯方法的近炸数据合成框架,并称之为条件多轨迹合成器(CMTS)。我们利用一个生成模型的条件下,道路地图桥梁安全和碰撞驾驶数据,代表他们在潜在空间中的分布。通过从未遂分布中采样,我们可以合成对于理解交通场景至关重要的安全关键数据,但这些数据既没有显示在原始数据集中,也没有显示在碰撞数据集中。实验结果表明,增强后的数据集覆盖了更多的驾驶场景,尤其是近距离碰撞场景,提高了轨迹预测的准确性和处理危险驾驶场景的能力。
2019-10-02 cs.CV cs.LG cs.RO
SGNetPose+: Stepwise Goal-Driven Networks with Pose Information for Trajectory Prediction in Autonomous Driving
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
本文提出SGNetPose+,通过将骨架姿态信息与边界框结合并使用时序数据增强,在JAAD和PIE数据集上实现了优于SGNet的行人轨迹预测性能。
2025-03-11 cs.CV
Scenario Diffusion: Controllable Driving Scenario Generation With Diffusion
Zoox(佐克斯公司)
本文提出场景扩散(Scenario Diffusion),一种基于扩散的架构,结合潜在扩散、目标检测和轨迹回归,以地图和令牌为条件,实现可控的驾驶场景生成,可建模多样交通模式并泛化至不同地区。
2023-11-16 cs.CV cs.LG cs.RO
Social Occlusion Inference with Vectorized Representation for Autonomous Driving
Tongji University(同济大学)
本文提出利用车辆轨迹与场景上下文的向量化社交遮挡推理方法,通过折线编码器、Transformer和遮挡查询生成自车OGM,并在INTERACTION数据集上取得最优结果。
2023-08-16 cs.CV
VILTA: A VLM-in-the-Loop Adversary for Enhancing Driving Policy Robustness
VILTA通过整合视觉语言模型到闭环训练中,提升自动驾驶策略在长尾事件中的安全性和鲁棒性。
2026-01-19 cs.CV
HMAD: Advancing E2E Driving with Anchored Offset Proposals and Simulation-Supervised Multi-target Scoring
HAOMO.AI Technology Co., Ltd(HAOMO.AI技术有限公司);Tsinghua University(清华大学)
HMAD框架结合基于BEV的锚定偏移轨迹生成与仿真监督多目标评分,解决了端到端自动驾驶中轨迹多样性与最优路径选择难题,在CVPR 2025测试集取得44.5%驾驶分数。
2025-05-29 cs.CV
PBP: Path-based Trajectory Prediction for Autonomous Driving
Motional(莫申公司)
针对基于目标的轨迹预测地图合规性不足的问题,本文提出PBP,通过预测高精地图参考路径的离散分布并在路径相对Frenet坐标系中解码轨迹,在Argoverse上显著提升地图合规性。
2024-03-02 cs.CV
EMMA: End-to-End Multimodal Model for Autonomous Driving
Waymo LLC(Waymo公司)
本文提出端到端多模态自动驾驶模型 EMMA,基于多模态大语言模型将传感器数据与驾驶任务统一为自然语言处理,在运动规划、三维目标检测和道路图任务上取得领先结果,展示了通用自动驾驶模型的潜力。
2025-09-23 cs.AI cs.CL cs.CV
DriveSceneGen: Generating Diverse and Realistic Driving Scenarios from Scratch
Advanced Robotics Centre, National University of Singapore(新加坡国立大学先进机器人中心)
针对真实驾驶数据集数量与多样性不足的问题,提出数据驱动的DriveSceneGen方法,可从零生成含静态地图和动态交通参与者的高保真多样化驾驶场景,性能优于真实数据集,为自动驾驶开发验证提供数据支持。
2024-02-28 cs.CV cs.RO
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University(同济大学)
人车协同驾驶技术减轻了人类驾驶员的工作负担,已成为自动驾驶的关键技术。然而,复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力,提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法,将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明,合作视觉感知能更准确地反映冲突最危险区域,预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法,为规划和控制提供准确的数据。
2022-04-21 cs.CV
DeeAD: Dynamic Early Exit of Vision-Language Action for Efficient Autonomous Driving
City University of Hongkong(香港城市大学);Mohamed bin Zayed University of Artificial Intelligence(马尔代夫 bin Zayed 人工智能大学)
DeeAD通过动态早期退出机制提升自动驾驶中视觉-语言动作模型的效率,实现28%的变换器层稀疏性和29%的延迟减少,同时保持规划质量和安全。
2025-11-25 cs.AI cs.CV cs.LG
Post-interactive Multimodal Trajectory Prediction for Autonomous Driving
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机与通信工程学院);College of Mechanical and Vehicle Engineering, Hunan University(湖南大学机械与运载工程学院);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);Department of Civil Engineering, Monash University(莫纳什大学土木工程系)
本文提出Pioformer,一种由粗到细的Transformer模型,通过显式提取后交互特征并结合三阶段训练,在Argoverse 1数据集上显著降低多模态轨迹预测误差。
2025-03-12 cs.CV
Large Scale Autonomous Driving Scenarios Clustering with Self-supervised Feature Extraction
Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
自动驾驶场景数据的聚类可以通过提高仿真测试的完整性和逼真度来大大有益于自动驾驶验证和仿真系统。本文提出了一个全面的数据聚类框架,为大量的车辆驾驶数据。现有的算法利用手工制作的功能,其质量依赖于人类专家的判断。此外,相关的特征压缩方法对于大数据集是不可缩放的。我们的方法充分考虑了交通元素,包括交通代理对象和地图信息。同时,我们提出了一种用于空间和时间特征提取的自监督深度学习方法,以避免有偏见的数据表示。新设计的基于数据增强的驾驶数据聚类评价指标,准确性评估不需要人为标记的数据集,这是受人的偏见。通过这种公正的评估指标,我们已经表明,我们的方法超越了现有的方法,依赖于手工特征提取。
2021-03-30 cs.CV
Transfer-LMR: Heavy-Tail Driving Behavior Recognition in Diverse Traffic Scenarios
Centre for Visual Information Technology(视觉信息技术中心);IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对驾驶行为分布中的长尾罕见类别识别不佳问题,提出模块化训练流程 Transfer-LMR,并在 METEOR 与 HDD 上验证其显著提升尾部行为识别效果。
2024-05-08 cs.CV
Streaming Motion Forecasting for Autonomous Driving
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有轨迹预测基准基于快照、不符合真实流式数据场景的问题,提出流式预测基准与即插即用元算法Predictive Streamer,通过遮挡推理和时间一致性策略显著提升预测精度。
2023-10-02 cs.CV
Hybrid Video Anomaly Detection for Anomalous Scenarios in Autonomous Driving
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(弗劳恩霍夫信息与通信技术研究中心)
针对自动驾驶场景,提出HF$^2$-VAD$_{AD}$方法,从车辆自视角学习正常性表示,在罕见关键场景中实现逐像素异常检测。
2025-04-28 cs.CV cs.RO
From Driving Videos to Simulatable Scenarios
Dept. Computer Science, Universitat Autònoma de Barcelona (UAB)(巴塞罗那自治大学计算机科学系);Computer Vision Center (CVC), UAB(UAB计算机视觉中心)
提出D-V2S框架,通过视觉语言模型和大语言模型从驾驶视频自动生成可模拟场景,实现90%语义元素保留和75%偏好率。
2026-06-23 cs.CV cs.SE
LWDrive: Layer-Wise World-Model-Guided Vision-Language Model Planning for Autonomous Driving
Chongqing University(重庆大学)
提出LWDrive框架,通过逐层世界模型引导,将VLM输出的粗轨迹逐步细化为几何精确、多视角感知的规划轨迹,在NAVSIM基准上取得92.0分。
2026-07-01 cs.AI cs.CV
From Dashcam Videos to Driving Simulations: Stress Testing Automated Vehicles against Rare Events
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出一种基于视频语言模型的自动化框架,将真实车祸视频转换为CARLA仿真场景以测试自动驾驶系统,通过相似度反馈迭代优化,实现高保真且高效的罕见事件压力测试。
2025-01-27 cs.AI cs.CV
A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving
Dr. Ing. h.c. F. Porsche AG(保时捷股份公司);Forschungszentrum Informatik(弗劳恩霍夫信息技术研究中心);Hochschule Esslingen(埃斯林根应用技术大学);University of Michigan(密歇根大学);Voxel51;Karlsruher Institut für Technologie(卡尔斯鲁厄理工学院)
本文提出能力驱动的MLLMs自动驾驶场景理解评估框架,从语义、空间、时间、物理四维度及情境层、模态、下游任务组织评估,并通过两个交通场景验证其适用性。
2025-03-14 cs.CV cs.RO
From Failures to Fixes: LLM-Driven Scenario Repair for Self-Evolving Autonomous Driving
Jilin University(吉林大学);Fudan University(复旦大学);Tongji University(同济大学)
提出LLM驱动的SERA框架,通过分析性能日志识别失败模式并动态检索语义对齐场景,利用LLM反思机制优化推荐,以少样本微调修复自动驾驶失败案例,持续提升多基线关键指标。
2025-05-28 cs.AI cs.CV cs.RO